AMD объявила о выпуске чипа MI300X AI в качестве инновационного ускорителя для искусственного интеллекта

Генеральный директор Advanced Micro Devices Лиза Су утверждает, что возможность запускать всю модель с 40 миллиардами параметров в памяти фактически уменьшает количество необходимых графических процессоров.

13 июня в Сан-Франциско Лиза Су представила чип, который уже стал центральным элементом стратегии компании в области вычислений для искусственного интеллекта. Его главное преимущество — это огромная память и пропускная способность данных для генеративных задач ИИ, таких как большие языковые модели.

Чип Instinct MI300X стал продолжением ранее анонсированного MI300A. В действительности он представляет собой комбинацию нескольких «чиплетов» — отдельных чипов, объединенных в единый пакет с помощью общей памяти и сетевых соединений.

Су, выступая перед приглашенной аудиторией в отеле Fairmont, назвала эту модель «генеративным ускорителем ИИ» и сказала, что содержащиеся в ней чипсеты GPU, семейство которых известно как CDNA 3, разработаны специально для ИИ и HPC рабочих нагрузок.

MI300X — это версия детали «только для GPU», она представляет собой комбинацию трех чиплетов CPU Zen4 с несколькими чипсетами GPU. Но в MI300X процессоры заменены на две дополнительные микросхемы CDNA 3.

В MI300X количество транзисторов увеличено со 146 миллиардов до 153 миллиардов, а общая память DRAM увеличена со 128 гигабайт в MI300A до 192 гигабайт. Пропускная способность памяти увеличена с 800 гигабайт в секунду до 5,2 терабайт.

Specification	AMD Instinct MI300X	AMD Instinct MI300A	AMD Instinct MI250X
GPU Architecture	CDNA 3	CDNA 3	CDNA 2
Dedicated Memory Size	192 GB	128 GB	128 GB
Dedicated Memory Type	HBM3	HBM2e	HBM2e
Peak Memory Bandwidth	5.2TB/s	800GB/s	Up to 3276.8 GB/s

«Использование чиплетов в этом продукте является стратегическим, — сказала Су, — поскольку мы можем смешивать и сочетать различные виды вычислений, меняя местами CPU или GPU».

Су сказала, что MI300X будет обеспечивать в 2,4 раза большую плотность памяти, чем GPU H100 «Hopper» от Nvidia, и в 1,6 раза большую пропускную способность памяти. 

«Генеративный ИИ, большие языковые модели изменили ландшафт, — говорит Су. — Потребность в больших вычислениях растет экспоненциально, говорите ли вы об обучении или о выводах».

Чтобы продемонстрировать потребность в мощных вычислениях, Су показала часть, работающую над самой популярной большой языковой моделью на данный момент — Falcon-40B с открытым исходным кодом. Языковые модели требуют все больше вычислений, поскольку они строятся с большим количеством «параметров» нейронной сети. Модель Falcon-40B состоит из 40 миллиардов параметров.

По ее словам, MI300X — это первый чип, который достаточно мощный, чтобы запустить нейронную сеть такого размера полностью в памяти, а не перемещать данные во внешнюю память и обратно. Су продемонстрировала, как MI300X создает поэму о Сан-Франциско с помощью Falcon-40B. Предполагается, что один MI300X может запускать в памяти модели примерно до 80 миллиардов параметров. 

Благодаря большему объему памяти, большей пропускной способности памяти и меньшему количеству необходимых GPU можно будет выполнять больше заданий по выводу на GPU, чем раньше. По словам Су, это снизит общую стоимость владения большими языковыми моделями и сделает технологию более доступной.

Чтобы конкурировать с системами DGX от Nvidia, компания представила семейство компьютеров ИИ «Платформа AMD Instinct». Первый экземпляр будет объединять восемь MI300X с 1,5 терабайтами памяти HMB3. Сервер соответствует отраслевому стандарту Open Compute Platform spec.

«Клиенты смогут использовать все эти вычислительные возможности ИИ в памяти на стандартной платформе, которая встраивается в существующую инфраструктуру», — сказала Су.

В отличие от MI300X, который является только GPU, существующий MI300A будет противостоять комбо-чипу Grace Hopper от Nvidia, который использует процессор Nvidia Grace CPU и GPU Hopper, о полном производстве которого компания объявила в прошлом месяце.

«MI300A встраивается в суперкомпьютер El Capitan, который строят в Национальной лаборатории имени Лоуренса Ливермора Министерства энергетики», — отметила Су.

В настоящее время MI300A демонстрируется в качестве образца. В третьем квартале 2023 года MI300X начнут поставлять клиентам, а серийное производство обеих моделей начнется в четвертом квартале.

 

Источник