Анонсирован процессор Nvidia Groq 3 LPU с 500 МБ памяти SRAM и пропускной способностью 150 ТБ/с

В рамках новой ИИ-платформы Vera Rubin компания Nvidia интегрировала не только центральные процессоры Intel, но и принципиально новые языковые ускорители (LPU), построенные на архитектуре Groq. Напомним, что ранее Nvidia заключила с Groq стратегическое лицензионное соглашение стоимостью 20 млрд долларов. Эта сделка позволила технологическому гиганту получить доступ к интеллектуальной собственности партнера и привлечь в штат ключевых специалистов Groq, включая ее основателя. 

Если говорить о технических деталях, то в системе Vera Rubin используется чип Groq 3 LPU. Этот узкоспециализированный языковой процессор состоит из 98 миллиардов транзисторов и оснащен 500 МБ памяти типа SRAM. Несмотря на относительно небольшой объем, пропускная способность этой памяти достигает внушительных 150 ТБ/с. Для сопоставления: 288 ГБ памяти HBM4 в составе графических чипов Rubin обеспечивают лишь 22 ТБ/с. 

Пиковая производительность процессора составляет 1,2 PFLOPS (в формате FP8). При этом важно учитывать, что данное решение спроектировано именно для инференса (вывода), а не для процесса обучения моделей. 

Для масштабирования этой мощности Nvidia представила комплексное стоечное решение Groq 3 LPX, которое объединяет 256 таких процессоров. В подобной конфигурации совокупный объем SRAM-памяти составляет 128 ГБ, а общая пропускная способность возрастает до колоссальных 40 ПБ/с. 

Фото WCCF Tech

Nvidia анонсировала 88-ядерный серверный чип Vera и передовую платформу Rubin NVL72 для задач машинного обучения

В архитектуре Nvidia блоки Groq LPX выполняют роль сопроцессоров для GPU Rubin, значительно ускоряя декодирование на уровне каждого токена ИИ-модели. В связке Rubin и Groq LPX суммарный вычислительный потенциал системы в задачах вывода достигает 315 PFLOPS. 

Источник: iXBT