Nvidia GB200 NVL72 почти в 30 раз превзошла систему AMD Instinct MI355X в испытаниях MoE

Доминирование NVIDIA на рынке ИИ-ускорителей подкрепляется впечатляющими результатами последних испытаний. В тестах, моделирующих работу архитектуры MoE (Mixture of Experts), серверная стойка GB200 NVL72 продемонстрировала колоссальный отрыв, опередив конфигурации на базе AMD Instinct MI355X почти в 30 раз.

Аналитические данные SemiAnalysis указывают на то, что системы NVIDIA Blackwell обеспечивают пропускную способность на уровне 75 токенов в секунду на каждый GPU. Это в 28 раз выше показателей чипов MI355X при развертывании в аналогичных кластерных структурах.

Разумеется, в столь молодой и изменчивой сфере, как искусственный интеллект, итоговые цифры во многом зависят от методики тестирования, и подобный разрыв будет проявляться не во всех сценариях. Тем не менее, современные нейросети все чаще опираются на архитектуру MoE, так как она позволяет достичь принципиально иного уровня эффективности использования вычислительных ресурсов.

Вместе с тем, масштабирование таких моделей требует значительно больших мощностей по сравнению со стандартными плотными архитектурами.

Особенности алгоритмов MoE создают экстремальную нагрузку на каналы связи между узлами, делая производительность критически зависимой от качества масштабирования. Для преодоления этих барьеров NVIDIA перешла к стратегии совместного проектирования, объединив 72 модуля GB200 с единым массивом быстрой памяти объемом 30 ТБ. Примечательно, что с выходом архитектуры Blackwell компания фактически отказалась от продажи отдельных ускорителей, переключившись на поставку готовых программно-аппаратных комплексов в виде стоек.

Согласно отчету Signal65, внедрение GB200 NVL72 позволяет снизить относительную себестоимость генерации каждого токена в 15 раз.

Источник: iXBT