Сеть для AI-кластера: InfiniBand или Ethernet (RoCE)?
Коротко: Обучение больших моделей упирается не в GPU, а в сеть между ними: All-Reduce гоняет терабайты градиентов каждую итерацию. Разбираем, когда нужен InfiniBand, когда хватает Ethernet 200/400G с RoCEv2, и из чего вообще состоит фабрика AI-кластера — адаптеры, коммутаторы, кабели, топология.
Почему сеть решает
При обучении на десятках GPU синхронизация градиентов (All-Reduce) занимает до половины шага. Медленная фабрика оставляет дорогие ускорители простаивать: кластер на H100 с плохой сетью может работать медленнее кластера на A100 с хорошей.
InfiniBand: HDR 200G и NDR 400G
Эталон для крупных кластеров: задержки ~1 мкс, аппаратный RDMA, SHARP-агрегация в коммутаторах Quantum. Адаптеры ConnectX-6/7, кабели DAC/AOC/оптика OSFP. Минусы — цена и отдельная экспертиза.
Ethernet + RoCEv2
RDMA поверх обычного Ethernet 100/200/400G: дешевле, совместимо с существующей инфраструктурой, проще команде. Требует lossless-настройки (PFC/ECN). До 8–16 узлов чаще всего оптимален именно Ethernet.
Что из этого есть у нас
Адаптеры Mellanox/NVIDIA ConnectX (64+ SKU в каталоге), коммутаторы 100G Cisco/Arista/Juniper, DAC/AOC-кабели и трансиверы QSFP28/QSFP-DD — со склада; InfiniBand-оборудование и 400G — под заказ с фиксацией сроков в КП.
Типовые конфигурации
2–4 узла: Ethernet 100G, пара коммутаторов, DAC. 8–16 узлов: Ethernet 200/400G leaf-spine c RoCEv2. 16+ узлов и обучение LLM: InfiniBand NDR, rail-optimized топология. Поможем посчитать порты, кабели и бюджет под вашу задачу.
Да, это норма: вычислительная фабрика на InfiniBand, а хранение и управление — на Ethernet. Раздельные сети упрощают эксплуатацию и безопасность.
Что такое RoCEv2?
RDMA over Converged Ethernet v2 — прямой доступ к памяти удалённого узла поверх обычного Ethernet/IP. Даёт близкие к InfiniBand задержки при правильной настройке lossless (PFC/ECN).
Хватит ли 100G для старта?
Для кластеров до 4–8 узлов со средними моделями — обычно да. Дальше пропускную способность наращивают: 200/400G на узел или переход на InfiniBand.
Какие кабели нужны?
Внутри стойки — DAC (медь, до 3–5 м), между стойками — AOC или трансиверы с оптикой. Для 400G — QSFP-DD/OSFP. Считаем комплект кабелей под топологию.