Сетевые продукты и решения Huawei Enterprise для корпоративных заказчиков в 2020 году / Хабр

. Что со скоростью?

В той или иной степени, производительность всех современных CPU в типичных задачах сопоставима, и в своём классе Kunpeng 920 ориентируется на нишу топовых процессоров Intel и AMD с 48 ядрами и больше. У нас нет под рукой 2-процессорного сервера, чтобы поставить лицом к лицу ARM архитектуру и x86, есть только 32-ядерный AMD EPYC 7551p, который мы можем задействовать просто для того, чтобы понять, можно ли сравнивать AMD64 и ARM64 по скорости?

И конечно мы заранее просим прощения у тех, кто ждал войнушку типа “Intel vs Huawei”, но уже многократно доказано, что в серверном сегменте версия ПО оказывает на производительность большее влияние, чем архитектура и модель процессора. Но поскольку среди моих коллег имеется абсолютное непонимание скоростных перспектив ARM64, наши тесты покажут, на что вы можете рассчитывать, приобретая эти серверы.

Давайте возьмём две базы данных: на 100 тысяч и 10 миллионов записей и сравним поведение машин в одинаковых условиях, что позволит немного экстраполировать результаты под ваши нужды.

С ростом числа потоковых соединений к базе, Taishan 2280 v2 начинает уходить в отрыв, и я не сказал бы, что дело в числе физических ядер (96 у Huawei против 32 у EPYC), ведь даже на 16 потоках разница почти двукратная. В 1-поточном режиме мы данные рассматривать не будем, как не имеющие какого-либо значения.

По числу транзакций в секунду разница в скорости становится большей с ростом числа потоков и увеличения датасета.

В нереляционной базе данных уже разница менее заметна, что ещё раз подтверждает тезис, что “не в процессорах сила есть, а в коде программном!” Но суммарно можно сказать, что производительность ARM-серверов вполне себе сопоставима с аналогичными x86 машинами с тем же числом ядер. В каких-то определённых сценариях ARM может давать прорыв, а в каких-то – x86.

Почему?

Где-то там, в других странах говорят об экономии электричества и выбросах CO2, кто-то считает, что x86 себя изжил в современном cloud-мире, а в России смотрят на политическую обстановку. Как ни крути, но Intel и AMD – корпорации «Наших американских партнёров», и пресловутый «Дядя Сэм» в любую минуту не то что может вскрыть все закладки, находящиеся в процессорах и чипсетах, но и просто ограничить поставки технологий в нашу страну.

Разумеется, что политика импортозамещения и построения суверенного интернета не могут строиться только на оборудовании Intel: как минимум – нужна диверсификация, а как максимум – использование альтернативных решений. Это всё очень серьёзно, как бы странно оно ни звучало, мы посвятили этому вопросуотдельную статью и более того – во всём мире просто гигантский спрос на «не-американское» защищённое от взлома и закладок «айти».

С другой стороны, Huawei TaiShan – это сервер от «наших китайских братьев». Им мы доверяем чуть больше, чем «американским партнёрам так как Huawei самостоятельно разработала свои процессоры и сетевые карты, то есть уровень локализации – огромный. И помимо политической воли и курса на импортозамещение, это «тёмная лошадка», которая способна выстрелить вверх, оставив где-то в прошлом всю эту мышиную возню Intel vs AMD, особенно в высокопараллельных нагрузках.

Так что же за KunPeng такой?

Мы знаем про ARM процессоры, что они установлены в смартфонах, и сегодня ни у кого не возникает сомнения в их производительности и энергоэффективности. Я не возьму на себя смелость объяснять плюсы и минусы ARM-архитектуры перед x86, полагая что кто-то это уже сделал до меня или сделает вместо.

Гораздо важнее, что x86 и ARM не совместимы, и грубо говоря, обычную Windows вы на KunPeng не поставите, и ваш старый Linux простым копированием файлов на новый сервер не перенесёте. Для некоторых отсутствие живой миграции ВМ c Intel на AMD – уже катастрофа (почему лишь для некоторых – читайтенашу статью), а здесь целый мир другой: вам придётся использовать ARM-версии ваших операционных систем и их программ, а некоторые компилировать заново… Закоренелые айтишники скажут, что с такой совместимостью у сервера на рынке шансов нет, и это похоронило в своё время Itanium и отбросило на задворки галактики IBM Power, но нет же: сообщество ARM растёт. Почему?

Потому что ARM в железе легко масштабируется. Сегодня Kunpeng – это до 64 ядер на одном процессоре, произведённом по 7 нм технологии, 8-канальный контроллер передовой памяти DDR4-2933, PCI Express 4.0, интегрированный 100-гигабитный сетевой контроллер с поддержкой RDMA, 64 Мб кэша L3, а завтра это можно будет взять и удвоить, ведь чиплетная конструкция на ARM архитектуре позволяет практически бесконечно масштабировать вычислительную мощность … чуть не забыл – в одном сервере может быть до 4 процессоров KunPeng.

Но не спешите гнать лошадей, ведь на сегодня Kunpeng-ов как минимум – 7 модификаций, а на сайте Huawei информацию о них нужно искать «днём с огнём». Кстати, на всех чипах красуется логотип компании Hisilicon, насайте которой информации ещё меньше.

Общее описание схемы и подготовка underlay

В фабрике будет использоваться 2 Spine и 4 Leaf (2 из которых объединены в m-lag пару). Между Spine и Leaf коммутаторами используются point to point подсети с 31 маской и увеличен MTU. Используется симметричный IRB. Spine коммутаторы так же будут выполнять роль BGP route reflector. Инкапсуляция и деинкапсуляция будет производиться на Leaf коммутаторах.

Начну с настройки m-lag пары leaf коммутаторов, для правильной работы нужен keepalive линк и peer линк. По peer линку может идти полезная нагрузка поэтому необходимо учитывать полосу пропускания этого линка. Так же следует учитывать, что m-lag в исполнении Huawei накладывает некоторые ограничения, например нельзя построить ospf соседство через агрегированный интерфейс (или можно но с костылями):

dfs-group 1
 priority 150
 source ip 192.168.1.1 # IP адрес keepalive линка
#
stp bridge-address 0039-0039-0039 #для правильной работы STP задаем одинаковый bridge id
#
lacp m-lag system-id 0010-0011-0012 #задаем system id для LACP
#
interface Eth-Trunk0 #создаем peer линк
 trunkport INTERFACE #добавляем интерфейс в LAG 
 stp disable
 mode lacp-static
 peer-link 1
#
interface Eth-Trunk1 #пример агрегированного интерфейса в сторону сервера например 
 mode lacp-static
 dfs-group 1 m-lag 1

Проверяем, что m-lag пара собралась:

Пример настройки интерфейса внутри фабрики:

interface GE1/0/0
 undo portswitch  #переводим интерфейс в режим L3
 undo shutdown  #административно включаем интерфейс
 ip address 192.168.0.1 31
 ospf network-type p2p #меняем тип OSPF интерфейса на point-to-point
 mtu 9200 #увеличиваем MTU интерфейса

В качестве underlay протокола маршрутизации используется OSPF:

ospf 1 router-id 10.1.1.11
 area 0.0.0.0
  network 10.1.1.1 0.0.0.0 #анонсируем anycast lo только с m-lag пары
  network 10.1.1.11 0.0.0.0
  network 192.168.0.0 0.0.255.255

Так же в качестве протокола маршрутизации можно использовать два BGP процесса, один для underlay маршрутизации и второй для overlay маршрутизации.

bgp AS_UNDERLAY #процесс для underlay маршрутизации
 <settings>
bgp AS_OVERLAY instance EVPN_NAME #процесс для overlay маршрутизации
 <settings>

С базовыми настройками закончили, проверим, что OSPF собрался и маршруты балансируются между Spine коммутаторами.

Соседство собралось, проверим маршрутную информацию:

Что нового для сетей цод

Для воплощения новой концепции Huawei в сетях ЦОД используется несколько подходов.

В 2022 году компания Broadcom, и в частности входящая в неё Brocade, по геополитическим причинам отказались от партнёрства с Huawei, как китайским производителем. Вскоре наше подразделение, которое занимается системами хранения данных, сделало упор на использование систем, связанных с удалённым прямым доступом к памяти другого устройства (RoCEv2), и не зря.

В испытаниях мы зафиксировали прирост производительности по сравнению со стандартным Fibre Channel. Так, Dorado и программно-определяемая FusionStorage 8 показывают в RoCEv2-сценариях по меньшей мере 20%-й выигрыш в производительности за счёт использования алгоритмов машинного обучения (применяется шесть лицензированных алгоритмов, работающих на уровне карт ускорения machine learning непосредственно на коммутаторах).

Фактически линейка Huawei DCN вместе с нашими новыми СХД даёт возможность получить решение «три в одном» и, согласно самым скромным подсчётам, открывает новый рынок сетей хранения данных величиной около $5 млрд.

Использование нового, комплексного подхода в случае с Huawei SDN позволяет работать с приложениями более гранулярно. В этой связи повышенное значение приобретают гибкая настройка контейнеров и настройка связности с ними. Сама по себе модель управления стала гораздо нагляднее и проще — не в последнюю очередь благодаря использованию принципов Drag-n-Drop и WYSIWYG.

Наш метод автоматизации сети претворяется на практике с помощью целого набора инновационных решений. Среди них — симуляция события. Упрощённо рассуждая, перед тем как что-либо настроить, мы имитируем действие выбранных опций, в том числе с точки зрения сетевой составляющей.

Например, если изменения грозят застопорить какие-то потоки трафика, система предупредит инженера о соответствующем риске до принятия этих изменений. Такого типа обратная связь, реализованная по проактивной, а не по реактивной модели, серьёзно упрощает эксплуатацию ЦОДа.

Другая отличительная особенность нового подхода Huawei к построению сетей в ЦОДах — применение ранее упомянутой интеллектуальной платформы O&M 1-3-5. Делается это прежде всего с целью получить стопроцентную визуализацию сети. Администратор видит, без преувеличения, всё сколько-нибудь значимое, что творится в ЦОДе или кампусной сети.

Соответственно, необходимо понимать, как происходящее соотносится с работой приложений. В стандартных сценариях, когда задействуются визуализаторы других производителей, в конечном счёте либо остается удовлетвориться сбором информации по NetFlow, что не ведёт к точности картины в сети ЦОДа, либо приходится ставить дорогие съёмники трафика в критических точках.

Ни тот, ни другой выход нельзя признать приемлемым в 2020 году. В случае же с O&M 1-3-5 коммутаторы и беспроводные устройства, такие как точки доступа, могут снимать ERSPAN всего проходящего через них трафика до уровня Layer-4 и отдавать эту информацию, в связи с чем панорама сетевой активности приобретает высочайшую степень детализации.

— В случае с single node deployment возможен ли кластер A-P / A-A?
— Single node deployment скорее имеет смысл, когда задача — собрать демолабораторию, получить proof-of-concept. Как только у нас возникает задача посложнее, мы используем ClusterWare на основе GaussDB — нашей массивно-параллельной базы данных с плавающими адресами — и тогда получаем сценарий active-active. В серьёзных внедрениях это требует трёх-четырёх серверов.

Что huawei готовит по части опорных сетей

Если 2022-й для Huawei был годом ЦОДов, то 2020-й — определённо год опорных сетей. Причём у самых разных клиентов. Наиболее распространённые задачи — обеспечение связности ЦОДов, связности с филиальной сетью, с вышестоящей организацией и т. д. Исходя из запроса рынка мы упростили свою продуктовую линейку.

При всём богатстве выбора, признаём, раньше в ней действительно было сложновато ориентироваться. В одних только маршрутизаторах ничего не стоило запутаться: NE5, NE08, NE20, NE40, NE80, NE5000. Отныне для большинства заказчиков продуктовая линейка будет останавливаться на семействе NetEngine 8000: «девятитысячные» — это уже устройства скорее операторского класса, хотя, конечно, они могут сослужить хорошую службу корпорации, которая активно поглощает другие компании, в связи с чем ей нужно обеспечить серьёзную пропускную способность.

Итак, в сегменте enterprise наиболее востребовано семейство 8000 — интеллектуальные маршрутизаторы подо все мыслимые сценарии эксплуатации в сетях 5G. Модельный ряд разделён на классы: X, M, F. Те устройства, что маркированы литерой F, наилучшим образом подходят для построения городских сетей (metro networks).

Скажем, на модели F1A порты начинаются с 1 Гбит/с: 1, 10, 25 Гбит/с на левой части устройства, 40 и 100 Гбит/с на правой. Гибко переключая эти порты (главное, без превышения пропускной способности железа — 1,2 Тбит/с), можно гибко расширять и модифицировать сеть в пределах одного форм-фактора, что явно будет козырем в глазах тех, кто не готов менять аппаратный парк каждые три года.

Самые востребованные модели — M8 и M14. Они рассчитаны на средних и крупных заказчиков и предназначены перво-наперво для построения агрегирующих сетей. Например, придутся кстати при решении задач по агрегации филиальных сетей, агрегации серьёзных каналов к интернету, пиринга с провайдерами и т. д.

Наконец, X8/X4 — тяжёлая артиллерия. Это платформа, на которой можно реализовывать порты 100 и 400 Гбит/с. Её мощности вполне подходят для обеспечения трансконтинентальных соединений.

Флагманскими в 2020 году являются архитектуры HiCampus и HiDC. В свою очередь, ключевые продукты — это точки доступа AirEngine Wi-Fi 6, оборудование для оптического уплотнения данных OptiXtrans DC908, умные устройства бесперебойного питания SmartLi UPS, система хранения данных OceanStor Dorado.

Что касается собственных чипов Huawei, они покрывают весь диапазон применения сетевого оборудования. В линейке Solar буква в наименовании модели фактически обозначает основную сферу использования процессора. Маркированные R предназначены для установки в роутеры (routers)

, S — в тяжёлые коммутаторы (switches), W6 — в устройства для сетей Wi-Fi 6. Чипы для устройств общего назначения, например маленьких маршрутизаторов, проходят под литерами A и C. Далее, Kunpeng 920 рассчитан преимущественно на применение в серверах, а Ascend 310 — в тяжёлых коммутаторах, маршрутизаторах и устройствах сетевой безопасности, для того чтобы мы могли использовать модели machine learning непосредственно на устройствах (среди прочего — приоритезировать трафик на коммутаторах и маршрутизаторах и производить над ним сложные операции, на которые центральный процессор не способен).

Также 2020-й — это ещё и, вне всякого сомнения, год Wi-Fi 6. На текущий момент Huawei располагает линейкой соответствующих решений как для заказчиков из сегмента enterprise, так и для конечных потребителей — AirEngine Wi-Fi 6.

Корпоративным клиентам уже доступно более десяти точек доступа, работающих в сетях Wi-Fi 6. Среди главных вызовов, с которым сталкиваются наши заказчики, — обеспечение работы Wi-Fi 6 и со старыми, и с новыми устройствами. В прошлом году телеком-оборудования, поддерживающего «шестёрку», в отрасли выпускалось совсем мало — вспоминается разве что адаптер от Intel, который вставлялся в M2-слот (как вариант, можно было докупить дополнительные модули); пользовательские же гаджеты практически не поддерживались.

Хотя Wi-Fi 6, казалось бы, без году неделя, уже активно ведётся работа над стандартом седьмого поколения, в котором, как ожидается, будет реализована более плотная работа с каналами. Но даже шестое принесло нам множество новшеств в сравнении с пятым.

Не все готовы устанавливать себе в сеть открытые протоколы типа LoRa. Многим до сих пор предпочтительно использовать единую беспроводную среду, особенно в пределах не очень больших помещений, где, например, нет дополнительного покрытия. И тут больше всего нам подходит именно беспроводная среда на Wi-Fi 6 — ввиду технологических преимуществ OFDMA, MU-MIMO и TWT.

Отметим три первоочередных фактора, по которым Wi-Fi 6 обходит предшествующий стандарт:

В стратегию Huawei входит трансформация самой концепции кампуса: в нашем понимании он должен стать полностью беспроводным, а в сердце его будет Wi-Fi 6 на основе 5G.

Мы знаем: наша формулировка «100 Мбит везде» кое-кого в индустрии смущает. Просто-напросто скептики не считают, что на одну точку доступа может ассоциироваться до 500 человек. Однако же, если мы будем отталкиваться даже от 50 или 100 подключённых, выйдет 10 Гбит/с на точку, с поправкой на накладные расходы. В таком контексте «100 Мбит везде» уже не представляются чем-то из ряда вон выходящим.

Что huawei готова предложить для цодов

Напомним, в 2020 году у Huawei две новые флагманские архитектуры — HiDC и HiCampus.

В первую очередь архитектура ценна наличием методологии построения инфраструктуры. Даже сегодня ЦОД зачастую создают примерно таким путём: берём серверы, СХД, источник бесперебойного питания, — и вперёд, что-нибудь да получится.

При построении современного ЦОДа в числе множества иных факторов должны быть учтены и рассчитаны с прицелом на оптимум: различного рода нагрузки, в том числе инженерная (facility), энергопотребление, сетевой паттерн, а также необходимо определиться с тем, будут ли применяться те или иные ресурсы, будут ли организованы data lakes и т. д.

Помимо вышеописанных OptiXtrans DC908 и CloudEngine 16800, в число наших ключевых продуктов 2020 года входит линейка Atlas, Ascend и Kunpeng — устройства, работающие на графических ускорителях, ускорителях машинного обучения и серверах с ARM-процессорами. OceanStor Dorado, в свою очередь, — это передовая система хранений данных Huawei.

Но фундаментальный смысл инноваций в том, что наши флагманские продукты и софт к ним формируют единую архитектуру. Вооружённые её видением, мы понимаем, как, при тех или иных требованиях к ЦОДу, лучше его строить, чтобы он был надёжен, лёгок в эксплуатации и не напоминал чудовище Франкенштейна, оживлённое, будто молнией, распоряжением руководителя «сделать быстро».

Чем дальше, тем больше сетевым инженерам приходится знать об IT-нагрузке. Так что настоятельно советуем им в ближайшем будущем поближе познакомиться Dorado — той СХД, которую мы несём на рынок. Кстати, одна из ранее не упомянутых её отличительных черт — тот факт, что она подключается не в fiber channel основным каналом, а в Ethernet с помощью RoCEv2.

«ИБП SmartLi может сделать каждый офисный зал ЦОДом» — утверждение вовсе не голословное. Достоинства литий-ионных батарей не нуждаются в лишней рекламе: по сравнению с аккумуляторами иных типов вес у них меньше, занимаемое ими место (footprint) — тоже, а вот жизненный цикл гораздо дольше.

Наши бизнес-клиенты единодушны: умные кампусы — это основа интеллектуального мира. Ничего удивительного, ведь свыше 80% валового национального продукта на душу населения генерируется в именно кампусах, и большинство инноваций создаётся там же.

Да, с точки зрения организации сети на кампусах существует великое множество вызовов. Например: в компании легион сотрудников, все хотят получить качественный WiFi-сервис и потребляют огромный объём ресурсов. Или: владельцы бизнеса хотят получить новые сервисы на следующей неделе, а CIO говорит, что ему нужно несколько месяцев на то, чтобы провести тендер, выполнить закупку и т. д.

Поэтому в последнее время у наших заказчиков популярен концепт использования пассивных оптических линий в кампусе. В таком случае мы имеем дело не с обычным GPON, а с GPON, насыщенным дополнительными устройствами. Например, WiFi-точками и камерами, которые напрямую подключаются в GPON (если точнее, в POL). Дополнительно, поверх, устанавливается платформа, в которую могут интегрироваться приложения.

Пример воплощения такого подхода в жизнь — Huawei Smart Campus, который развёрнут в штаб-квартире Huawei. Как только сотрудник заходит в кампус, его видит камера и, если биометрия «правильная», открывает перед ним дверь. Принято также, чтобы у работника на шее висел беджик с RFID-модулем.

Его считывает точка доступа Wi-Fi 6. По факту человек получает все права и преференции, которые ему положены согласно штатному расписанию, по лицу и беджику. Это обеспечивают не только нижестоящие устройства, но и сама цифровая платформа — Huawei Horizon Digital Platform.

В конечном итоге технологический портфель призван приносить пользу бизнесу, и это тоже один из приоритетов стратегии Huawei. Так, Wi-Fi 6, на который мы делаем ставку, имеет огромный потенциал с точки зрения повышения эффективности работы в самых разных организациях.

Кроме того, он обещает зримое улучшение процессов на заводах и фабриках, где используются AGV — автономные средства передвижения. Ну а первые внедрения Wi-Fi 6, показавшие притом впечатляющую отдачу, были произведены в местах массового скопления людей (пока преимущественно в Азиатско-Тихоокеанском регионе): в крупных парках, аэропортах и т. д.

И пара слов о зрелости решения. Стандартную трёхуровневую кампусную сеть, если мы захотим серьёзно её модифицировать, придётся обновить практически полностью. С внедрением POL всё куда проще: с новыми продуктами Huawei не нужно тянуть и подключать громадное количество кабелей.

В той концепции кампуса — полностью оптического, с повсеместной беспроводной средой и интеллектуальной O&M, — которую предлагает миру Huawei, можно выделить три главных преимущества:

Наконец, как упоминалось ранее, для управления такой средой задействуется решение iMaster NCE, что служит залогом успешной цифровой трансформации и развития кампуса.

. Есть ли софт для импортозамещения?

Нам на тест сервер поступил после ребят из Московского офисаAstra Linux. Эта операционная система на базе Debian создаётся, прежде всего, для государственных органов, а потому помимо обычной Linux для рядового госслужащего, у них есть и варианты для работы с гостайной, защищённые дистрибутивы, имеющие сертификаты ФСТЭК, ФСБ и прочих гос. органов.

Astra Linux гордится тем, что их дистрибутив работает и на Xeon-ах, и на Эльбрус-ах, а теперь – и на Kunpeng-ах. Подобное решение из китайского ARM-сервера и российского противовзломного ПО выглядит уже не как бета-версия, а как готовый продукт, защищённый и с технической и с политической точек зрения, соответствующий приказам регулятора, курсу партии и требованиям ведомств. Разобравшись с ПО для импортозамещения, перейдём к прикладным задачам в том же формате вопрос-ответ.

Verify the Configuration

We can use the following command to verify VRRP configuration and below the out put on R1.

] dis vrrp
 GigabitEthernet0/0/0 | Virtual Router 10
 State : Master
 Virtual IP : 10.0.0.3
 Master IP : 10.0.0.1
 PriorityRun : 120
 PriorityConfig : 120
 MasterPriority : 120
 Preempt : YES Delay Time : 20 s
 TimerRun : 1 s
 TimerConfig : 1 s
 Auth type : NONE
 Virtual MAC : 0000-5e00-010a
 Check TTL : YES
 Config type : normal-vrrp
 Backup-forward : disabled
 Create time : 2022-06-10 22:24:29 UTC-08:00
 Last change time : 2022-06-10 22:26:50 UTC-08:00

And below the out put on R2.

] dis vrrp
 GigabitEthernet0/0/0 | Virtual Router 10
 State : Backup
 Virtual IP : 10.0.0.3
 Master IP : 10.0.0.1
 PriorityRun : 90
 PriorityConfig : 90
 MasterPriority : 120
 Preempt : YES Delay Time : 0 s
 TimerRun : 1 s
 TimerConfig : 1 s
 Auth type : NONE
 Virtual MAC : 0000-5e00-010a
 Check TTL : YES
 Config type : normal-vrrp
 Backup-forward : disabled
 Create time : 2022-06-10 22:25:26 UTC-08:00
 Last change time : 2022-06-10 22:27:18 UTC-08:00

We can test ping from computer client to the virtual IP of the VRRP group number 10 and we should get a successful result as the following.

PC>ping 10.0.0.3

Ping 10.0.0.3: 32 data bytes, Press Ctrl_C to break
From 10.0.0.3: bytes=32 seq=1 ttl=255 time=125 ms
From 10.0.0.3: bytes=32 seq=2 ttl=255 time=31 ms
From 10.0.0.3: bytes=32 seq=3 ttl=255 time=47 ms
From 10.0.0.3: bytes=32 seq=4 ttl=255 time=31 ms
From 10.0.0.3: bytes=32 seq=5 ttl=255 time=47 ms

--- 10.0.0.3 ping statistics ---
 5 packet(s) transmitted
 5 packet(s) received
 0.00% packet loss
 round-trip min/avg/max = 31/56/125 ms

Какие продукты и решения huawei предлагает в 2020 году

Касательно места Huawei в технологическом мире чем дальше, тем в меньшей степени нашу компанию справедливо называть сетевым вендором, вендором серверов или какого-либо другого отдельного типа продуктов. Сегодня объективно правильнее будет говорить о том, что мы предлагаем, в терминах синергии: одно решение в совокупности с другим производит кумулятивный эффект, и получившееся оказывается больше (и ценнее!) суммы своих составных элементов.

Бесспорно, известность Huawei получила как производитель телеком-оборудования. Однако до сих пор даже не все наши коллеги по рынку осведомлены о наших решениях в сфере искусственного интеллекта и машинного обучения. Ещё меньше людей в курсе того, что эти разработки составляют неотъемлемую часть едва ли не всех наших актуальных продуктов.

В какую же сторону мы смотрим?

Крайне высокий приоритет в общетехнологической стратегии Huawei — у IP-сетей.

Притом немалая часть нашей деятельности напрямую связана с открытыми наработками, в первую очередь применительно к SRv6 и Wi-Fi 6. Это неудивительно, если принять во внимание тот факт, что около 45% наших сотрудников так или иначе относится к R&D.

Стандартные — иногда хочется сказать «допотопные» — сети, управление которыми осуществлялось через командную строку, претерпели разительные изменения. В ходе эволюции выделились сети ЦОД (DCN), Intent-Driven Networks (IDN), а также Autonomous Driving Networks (ADN).

По большому счёту, основной отличительный признак SDN — автоматизация, и наиболее зрелая автоматизация на сегодняшний день имеет место именно в сетях ЦОД. В свою очередь, главное, что добавило прагматическое применение концепции Intent-Driven, если оставить за скобками нюансы, — это понимание того, что происходит в сети.

В случае с сетью старого образца инженеру не всегда было по силам сориентироваться в потоках трафика. Потребность же создать карту сервисов могла вызвать не то что приступ паники — лёгкое помешательство: доступные на тот момент инструменты, включая съём по NetFlow, общей картины происходящего в сети не давали.

Среди опорных трендов ближнего прицела, которым Huawei привержена в своей стратегии, — распространение идеологии Autonomous Driving Network (ADN). Под это определение подпадают подвижные сети разного толка с автономным управлением.

Следует сделать оговорку: вне зависимости от того, каков прорывной потенциал решения, важно отдавать себе отчёт в том, насколько оно зрелое. Как показало наше исследование, среди наиболее популярных направлений, в которых работает Huawei и другие производители, самый зрелый домен — сети ЦОД (DCN).

На втором месте — оптические сети, на третьем — операторы связи. Таким образом, в случае с ЦОДами мы располагаем максимально глубоко проработанными решениями, как с точки зрения их ввода в эксплуатацию, так и с точки зрения их дальнейшего использования.

Для того чтобы воплощать в жизнь автономные управляемые сети так, как мы видим, был сформирован зонтичный бренд iMaster NCE. Он интегрирует в себя:

Это целостный комплекс, части которого состыкованы не формально и «чтобы было», а бесшовно. И действительно, максимально зрелым он проявляет себя в ЦОДах, с их тщательно проработанными процессами.

В случае с DCN мы развиваем свой подход к системе управления и эксплуатации сети, который кратко обозначили как O&M 1-3-5. Здесь 1 — это время, за которое мы должны получить сообщение об ошибке в сети, а именно одна минута. Соответственно, три минуты допустимо потратить на обработку ошибки, а пять минут — на её устранение. Разумеется, перечисленные цифры лишь ориентир, точнее, средние показатели по протоколам машинного обучения, которые вшиты в систему и доказали свою эффективность: во львиной доле систем возможно ограниченное количество сценариев неполадок, и на самые распространённые из них приходится приблизительно 90% всего, что в принципе может приключиться с сетью. Ранее 1-3-5 называлось FabricInsight, теперь же входит в состав iMaster NCE.

В качестве иллюстрации рассмотрим сеть в ЦОДе банка. Легко представить, как его бизнес-запросы ложатся на сетевые технологии. Для начала его core service — тот же онлайн-банкинг — должен работать на высоких скоростях и без потерь. В случае с системой iMaster требуемое достигается, в частности, за счёт того, что она формирует требования, полученные от вышестоящих систем, и транслирует их в нижестоящие (так происходит с сетевыми рекомендациями и пр.).

В дело вступает тот или иной набор шаблонов, которые выбираются и устанавливаются на подлежащую сеть. Допустим, набор правил AI Fabric, рассчитанной на использование c конвергентными сетями RoCE второй версии, с возможностью прямого доступа к памяти на уровне Fibre Channel / InfiniBand на Ethernet-сети.

Важно и держать под контролем то, что было внедрено. Речь идёт в том числе о правилах информационной безопасности и симуляции отказов. Подобные решения получат распространение как раз в 2020 году, и отдельные их внедрения уже произведены.

До iMaster NCE сетевая архитектура в ЦОДах на базе решений Huawei выглядела примерно следующим образом. Существовала отдельная система управления сетевыми элементами eSight, для управления устройствами транспорта задействовалась U2000, вместе с ними использовались Agile Controller в качестве SDN-контроллера и FabricInsight в качестве сетевого анализатора.

Все перечисленные составляющие практически не взаимодействовали между собой и не создавали добавленной ценности при эксплуатации. Соответственно, такая инфраструктура предполагала наличие трёх консолей управления, и решения в сети принимались на основе различных данных.

Будучи EMS, eSight не включает в себя U2000. Последнюю было решено инкорпорировать в новый продукт NCE Transport. В настоящее время Huawei производит замену у своих заказчиков, чтобы во всех новых проектах использовалась не U2000, а NCE-T. Ранее чаще всего U2000 применялась исключительно для транспортных задач, фактически на уровне оптики. Её кросс-продуктовое использование возможно, например для управления маршрутизаторами операторского класса и устройствами оптического уплотнения каналов, однако подобные кейсы представляют собой редкие исключения.

Напротив, архитектура iMaster NCE является конвергентной. При её создании компания задалась целью тесно интегрировать ранее слабо взаимодействовавшие друг с другом продукты, чтобы развёртывать сеть, приближенную к состоянию автопилота. Нам, без лишней похвальбы, это удалось.

Высокая степень самостоятельности сетевой инфраструктуры достигается совокупностью решений. Помимо всего прочего, анализатор «натаскивается» с помощью накопленных данных. В него зашита часть алгоритмов обучения. Например, в системе используются библиотеки PyTorch и MLib для того чтобы предсказывать, когда произойдёт деградация интерфейса, при каких условиях оптический приёмо-передатчик выйдет из строя и т. д.

В стандартных сценариях не редки ситуации, когда пресейл битых две недели корпит над high-level design, после чего осуществляется low-level design. Отныне всё проще благодаря тому, что в систему добавлена дизайн-студия. Ничто не мешает спроектировать дизайн в ней, и после того, как устройства будут присоединены к системе, они получат данные HLD и будут настроены в соответствии с намерениями инженера. Применительно к сетям ЦОД подобная функциональность, насколько нам известно, пока больше нигде не реализована.

Новой модели сопутствует новый подход к развёртыванию сети и управления ею — iMaster 2-3-4. Сам по себе iMaster представляет собой модульное программное обеспечение, и заказчик волен выбирать, каких модулей ему будет достаточно. Минимальный набор — это SDN-контроллер и система управления устройствами (в старых терминах — eSight).

Дальше возможны дополнения: анализатор, средства планирования и т. д., — в зависимости от целей клиента. Когда ожидается, что сеть будет статичной, почти наверняка нет никакой надобности задействовать модули planning и construction на постоянной основе.

В случае если у нас постоянно меняется сетевая инфраструктура — скажем, используется cloud computing, вычисления, связанные с большими данными и пр., — определённо потребуется анализатор. Известно, что система будет постоянно модифицироваться и расти? Значит, понадобится регулярно осуществлять её оптимизацию, и тогда нужен максимальный набор.

Опыт второй. безопасность

В качестве защиты от наиболее распространённых типов угроз мы настроили DHCP snooping, IP Source Guard, ARP security — все вместе это позволяет избежать некоторых типов атак, наиболее распространённых в офисной сети, в том числе и непреднамеренных.

Не секрет, что для администраторов становится головной болью появление в сети нелегального DHCP-сервера. DHCP snooping как раз таки призван решить эту проблему, т.к. раздача адресов в этом случае возможна только из доверенного порта, на остальных же она заблокирована.

На базе DHCP snooping работают функуции IP Source Guard и ARP security, защищающие от подделки IP и MAC адресов. Здесь суть в том, что работа возможна только с адресом полученным по DHCP, а связка «порт—IP—MAC» создается и проверяется автоматически.

Данная настройка убережет нас, если кто-то захочет использовать чужие IP-MAC, или организовать атаку типа MITM-атаку («Man-in-the-Middle»).

Третий тип возможных угроз — это атаки на STP. Здесь в качестве защиты на пользовательских портах включена фильтрация BPDU (то есть никакие STP-фреймы не отправляются пользователю и не принимаются от него).

Кроме того, ведёртся контроль появления посторонних BPDU stp bpdu-protection, что возможно при подключении другого коммутатора или атаки на stp root.

Активированная опция «stp edge-port enable» исключает порт из расчёта STP, уменьшая время сходимости и нагрузку на коммутатор.

Комбинация stp bpdu-protection и stp edge-port enable, аналогична Cisco spanning-tree portfast.

Собственно, примеры конфигурации:

Опыт первый. vlan

Созданы VLAN для офисной сети и для телефонов. Настроены «транки» и пользовательские порты. Включен LLDP.

Для работы Voice VLAN порты настраиваются в режиме «hybrid». IP-телефоны Yealink имеют возможность получения настроек по LLDP, чем мы успешно и воспользовались.

После конфигурирования пользовательский трафик остался в офисной сети, а голосовой переместился в Voice VLAN. При этом дополнительной настройки телефонов и рабочих мест не потребовалось, что очень удобно при миграции.

Включение LLDP позволяет выделять PoE в соответствии с требованиями подключенного устройства и экономно расходует бюджет мощности коммутатора.

Вопросов при настройке маршрутизации не возникло — всё работает. Базовые настройки маршрутизации:

router id 192.168.30.4#ospf 1area 0.0.0.0network 10.0.50.0 0.0.0.255#interface Vlanif50mtu 9198ospf timer hello 1ospf timer dead 3

Аутентификация peer не проверялась. В целях ускорения сходимости были настроены нестандартные тайминги (так называемый «LAN-based design»). В качестве «neighbor» успешно использована ASA5512 — работает.

Не обошлось и без нюансов: несмотря на то, что серия SI поддерживает динамический роутинг, он возможен только между интерфейсами Vlan (Vlanif). Т.е. порт нельзя перевести в режим L3 и назначить ему IP-адрес. Это возможно только для серий EI, HI.

Опыт четвертый. замена сертификата устройства на действительный

«До кучи» мы решили заменить заводской, самовыписанный сертификат на действительный ( благо есть свой валидный сертификат для подписи).

Импорт сертификата возможен только из CLI.

Столкнулись с тем, что ключи и сертификат должны быть отдельно, несмотря на то, что формат «pfx» позволяет экспортировать закрытый ключ в составе сертификата.

Более того, если вы пытаетесь импортировать цепочку из сертификатов, то первым обязательно должен быть записан сертификат устройства, а потом все остальные (например, промежуточные CA).

При стандартном экспорте в pem, сначала в файле идут сертификаты CA и только в конце сертификат устройства.

Для работы импорта, файлы сертификата на устройстве необходимо поместить в папку security на flash. Эта папка по умолчанию отсутствует её нужно создавать.

Представляем вашему вниманию пошаговый алгоритм:

1. Сгенерировать сертификат на внешнем CA.2. Экспортировать отдельно сертификат или цепочку и закрытый ключ.3. Если это цепочка — открыть файл сертификата блокнотом и перенести последний блок (сертификат устройства) в начало файла, сохранить.4.

На коммутаторе создать папку mkdir flash:/security5.Поместить в папку файл сертификата и ключ tftp 192.168.0.1 chain-servercert.pem /security/chain-servercert.pemПосле этого, согласно инструкции, создать политику и выполнить импорт.

Подготовка l2 vxlan

Сперва создадим NVE интерфейс отвечающий за инкапсуляцию/деинкапсуляцию пакетиков:

interface Nve1 #создаем NVE интерфейс
 source 10.1.1.1 #для m-lag пары используем anycast ip адрес
 mac-address 0000-5e00-0199 #обязательно для m-lag пары на обоих коммутаторах настраиваем одинаковый MAC адрес, это необходимо для работы L3 VXLAN

Для организации L2 VXLAN необходимо создать bridge-domain и примапить к нему vlan, l2 подинтефейс или интерфейс целиком. К одному bridge-domain могут быть примаплены разные VLANs.

bridge-domain 150 #создаем bridge-domain
vlan 150 access-port interface Eth-Trunk12 #можно мапить vlan в конфигурации bridge-domain, а можно в создавать l2 подинтерфейс
 vxlan vni 22150 #определяем vni
 evpn #создаем evpn instance
  route-distinguisher 10.1.1.11:22150
  vpn-target 65000:22150 export-extcommunity
  vpn-target 65000:23500 export-extcommunity #этот rt нужен в будущем для L3 VXLAN
  vpn-target 65000:22150 import-extcommunity
#
interface GE1/0/9.150 mode l2 #создаем подинтерфейс
 encapsulation [default,dot1q,untag,qinq] #выбираем тип инкапсуляции
 bridge-domain 150 #мапим к нужному bridge-domain
#
interface Nve1 
 vni 22150 head-end peer-list protocol bgp #определяем, что для BUM трафика будет использоваться ingress replication list с автообнаружением по BGP

Проделываем такую же работу на остальных коммутаторах и проверяем работу. На коммутаторах должны появиться EVPN маршруты типа 3:

Посмотрим попристальнее на анонс полученный от соседа:

BUM трафик должен ходить, можно приступать к проверке связности между хостами. Для этого с хоста VM1 пропингуем хост VM2:

ubuntu@test-vxlan-01:~$ ping 192.168.50.3
PING 192.168.50.3 (192.168.50.3) 56(84) bytes of data.
64 bytes from 192.168.50.3: icmp_seq=1 ttl=64 time=0.291 ms
--- 192.168.50.3 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.291/0.291/0.291/0.000 ms
#
ubuntu@test-vxlan-01:~$ ip neigh
192.168.50.3 dev eth0 lladdr 00:15:5d:65:87:26 REACHABLE

В это время на сети должны появиться анонсы 2 типа. Проверим:

Посмотрим анонс пристальнее:

Проверяем CAM таблицу коммутатора:

Подготовка l3 vxlan

Настало время выпустить хосты за пределы своей подсети, для этого будем использовать distributed gateway.

Для начала создадим нужный VRF:

ip vpn-instance EVPN
 ipv4-family
  route-distinguisher 10.1.1.11:23500
  vpn-target 65000: 23500 export-extcommunity evpn
  vpn-target 65000: 23500 import-extcommunity evpn
 vxlan vni 23500

В конфигурацию BGP Leaf коммутаторов добавляем анонс IRB:

bgp 65000
l2vpn-family evpn
  peer rr advertise irb

Создаем L3 интерфейс для маршрутизации в нужном VRF:

interface Vbdif150 #номер должен совпадать с номером bridge-domain
 ip binding vpn-instance EVPN
 ip address 192.168.50.254 24
 mac-address 0000-5e00-0101
 vxlan anycast-gateway enable
 arp collect host enable #генерация маршрута второго типа на основании arp записи

Повторяем конфигурации на других Leaf коммутаторах и проверяем:

На некоторых моделях коммутаторов (лучше свериться с официальной документацией) необходимо создание специального сервисного интерфейса для продвижения L3 VXLAN трафика. Полоса этого интерфейса должна быть в два раза больше пиковой полосы для L3 VXLAN трафика. При наличии большого количества Vbdif интерфейсов (более 2 тысяч) требуется создание дополнительных сервисных интерфейсов.

interface Eth-TrunkXXX
 service type tunnel
 trunkport 40GE1/1/1

На этом настройка L3 VXLAN завершена. Проверим доступность между хостами из разных подсетей:

ubuntu@test-vxlan-01:~$ ping 192.168.51.1
PING 192.168.51.1 (192.168.51.1) 56(84) bytes of data.
64 bytes from 192.168.51.1: icmp_seq=1 ttl=63 time=0.508 ms

--- 192.168.51.1 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.508/0.508/0.508/0.000 ms

Связность есть, теперь проверим маршрутную информацию:

Появились маршруты второго типа включающие в себя IP адреса. Теперь проверим перетекли ли маршруты в нужный VRF:

Подготовка overlay

Для начала необходимо глобально включить поддержку EVPN на коммутаторе:

evpn-overlay enable

Spine коммутаторы выполняют роль Route-reflector. Плюс нужно добавить строку undo policy vpn-target в соответствующей address family, чтобы Spine смог принять все маршруты и переслать их клиентам. Соседство строим на loopback адресах.

bgp 65000
 group leafs internal
 peer leafs connect-interface LoopBack0
 peer 10.1.1.11 as-number 65000
 peer 10.1.1.11 group leafs
 peer 10.1.1.12 as-number 65000
 peer 10.1.1.12 group leafs
 peer 10.1.1.2 as-number 65000
 peer 10.1.1.2 group leafs
 peer 10.1.1.3 as-number 65000
 peer 10.1.1.3 group leafs
 #
 ipv4-family unicast
  undo peer leafs enable
  undo peer 10.1.1.11 enable
  undo peer 10.1.1.12 enable
  undo peer 10.1.1.2 enable
  undo peer 10.1.1.3 enable
 #
 l2vpn-family evpn
  undo policy vpn-target
  peer leafs enable
  peer leafs reflect-client
  peer 10.1.1.11 enable
  peer 10.1.1.11 group leafs
  peer 10.1.1.12 enable
  peer 10.1.1.12 group leafs
  peer 10.1.1.2 enable
  peer 10.1.1.2 group leafs
  peer 10.1.1.3 enable
  peer 10.1.1.3 group leafs

На Leaf коммутаторах настраиваем нужный address family. Для m-lag пары хочется сделать политику подменяющую next-hop на anycast loopback ip адрес, но без такой политики все работает. Huawei подменяет next-hop адрес на адрес который указан в качестве source ip адреса интерфейса NVE. Но если вдруг возникнут проблемы с автоматической подменой всегда можно навесить политику руками:

bgp 65000
 group rr internal
 peer rr connect-interface LoopBack0
 peer 10.1.1.100 as-number 65000
 peer 10.1.1.100 group rr
 peer 10.1.1.101 as-number 65000
 peer 10.1.1.101 group rr
 #
 ipv4-family unicast
  undo peer rr enable
  undo peer 10.1.1.100 enable
  undo peer 10.1.1.101 enable
 #
 l2vpn-family evpn
  policy vpn-target
  peer rr enable
  peer 10.1.1.100 enable
  peer 10.1.1.100 group rr
  peer 10.1.1.101 enable
  peer 10.1.1.101 group rr

Проверяем, что overlay control plane собрался:

Рекомендации it-специалистам при заказе

Сегодня спрос на ARM-процессоры в сегменте ЦОД показывает двузначный рост г/г, и в основном он поддерживается со стороны гиперскейлеров, приобретающих серверы сотнями и тысячами. Видя перед собой готовый работающий сервер на ARM64, понимаешь, что будущее уже наступило, и можно плавно начинать отстраивать сегменты ЦОД на альтернативной архитектуре, используя Taishan 2280 v2 в роли кирпичиков, а функции СХД, SD-WAN и шлюзов безопасности отдать на откуп софту.

Что нужно запомнить перед покупкой Taishan 2280 V2:

• Это такой же технологичный гиперконвергентный сервер, как какой-нибудь DL380 G10 или PowerEdge R840. Но в отличии от них, это настоящий New Age, реально что-то новое за последние 30 лет.
• Сейчас здесь только Linux! Никаких VMware, FreeBSD, или свят-свят-свят, Windows Server здесь нет, и появятся или нет – не ясно. Коммерческие дистрибутивы дружат с процессорами Kunpeng и осуществляют по ним техподдержку.
• Всё готово для выполнения плана импортозамещения
• Стандартные простые задачи, такие как хостинг, работа с базами данных, балансировка трафика, VPN здесь работают прямо из коробки, устанавливаясь и настраиваясь теми же командами, что и под x86/AMD64.
• Чем больше приложений у вас вынесены в контейнеры, тем легче пройдёт внедрение.
• Проблемы могут возникнуть с коммерческим софтом, не распространяющим исходные коды и с какими-то библиотеками, особенно научными.

Учитывая, что этот сервер имеет высочайшую степень независимости от американских компаний, это идеальное решение для построения масштабируемой инфраструктуры на основе Kubernetes или Docker Swarm, с производительностью не ниже x86/AMD64, но при этом устойчивое к торговым войнам и сакнциям.

Михаил Дегтярёв (aka LIKE OFF)
15/04.2020

Таблица соответствия cisco isr и huawei ar – статьи и новости – симплтех