В рамках новой ИИ-платформы Vera Rubin компания Nvidia интегрировала не только центральные процессоры Intel, но и принципиально новые языковые ускорители (LPU), построенные на архитектуре Groq. Напомним, что ранее Nvidia заключила с Groq стратегическое лицензионное соглашение стоимостью 20 млрд долларов. Эта сделка позволила технологическому гиганту получить доступ к интеллектуальной собственности партнера и привлечь в штат ключевых специалистов Groq, включая ее основателя.
Если говорить о технических деталях, то в системе Vera Rubin используется чип Groq 3 LPU. Этот узкоспециализированный языковой процессор состоит из 98 миллиардов транзисторов и оснащен 500 МБ памяти типа SRAM. Несмотря на относительно небольшой объем, пропускная способность этой памяти достигает внушительных 150 ТБ/с. Для сопоставления: 288 ГБ памяти HBM4 в составе графических чипов Rubin обеспечивают лишь 22 ТБ/с.
Пиковая производительность процессора составляет 1,2 PFLOPS (в формате FP8). При этом важно учитывать, что данное решение спроектировано именно для инференса (вывода), а не для процесса обучения моделей.
Для масштабирования этой мощности Nvidia представила комплексное стоечное решение Groq 3 LPX, которое объединяет 256 таких процессоров. В подобной конфигурации совокупный объем SRAM-памяти составляет 128 ГБ, а общая пропускная способность возрастает до колоссальных 40 ПБ/с.
В архитектуре Nvidia блоки Groq LPX выполняют роль сопроцессоров для GPU Rubin, значительно ускоряя декодирование на уровне каждого токена ИИ-модели. В связке Rubin и Groq LPX суммарный вычислительный потенциал системы в задачах вывода достигает 315 PFLOPS.
Источник: iXBT
