NVIDIA H100 vs H200: что выбрать для ИИ

NVIDIA H100 vs H200

H100 и H200 — один вычислитель Hopper, но H200 несёт почти вдвое больше памяти. Разберём, когда переплата за H200 оправдана.

Параметр	NVIDIA H100	NVIDIA H200
Архитектура	Hopper	Hopper
Память	80 ГБ HBM3	141 ГБ HBM3e
Полоса памяти	3,35 ТБ/с (SXM)	4,8 ТБ/с
Вычислитель	Transformer Engine, FP8	тот же
Форм-факторы	SXM5, PCIe, NVL	SXM, NVL
Инференс крупных LLM	ограничен памятью	заметно выгоднее
Когда брать	обучение, сбалансированные задачи	инференс больших моделей, где всё упирается в память

Параметр

NVIDIA H100

NVIDIA H200

Архитектура

Hopper

Память

80 ГБ HBM3

141 ГБ HBM3e

Полоса памяти

3,35 ТБ/с (SXM)

4,8 ТБ/с

Вычислитель

Transformer Engine, FP8

тот же

Форм-факторы

SXM5, PCIe, NVL

SXM, NVL

Инференс крупных LLM

ограничен памятью

заметно выгоднее

Когда брать

обучение, сбалансированные задачи

инференс больших моделей, где всё упирается в память

Вывод

Вычислительно H100 и H200 близки — разница в памяти. H200 (141 ГБ HBM3e) выгоднее там, где модель или KV-кэш не помещаются в 80 ГБ H100: крупный инференс LLM идёт быстрее и без разбиения между картами. Для обучения и сбалансированных нагрузок H100 остаётся отличным выбором по цене.

Вопросы по теме

Чем H200 отличается от H100?

Тот же вычислитель Hopper, но 141 ГБ HBM3e против 80 ГБ HBM3 и более высокая полоса памяти. Вычислительная производительность близка.

Когда стоит брать H200?

Когда модель или KV-кэш не помещаются в 80 ГБ: инференс крупных LLM на H200 быстрее и не требует разбиения между GPU.

H100 устарел?

Нет. Для обучения и многих задач H100 остаётся оптимальным по соотношению цена/возможности; H200 — про память.