Nvidia Blackwell увеличивает скорость ИИ в 2,5 раза: новый рекорд в производительности обучения крупных языковых моделей

Компания Nvidia объявила об удивительных успехах своих инновационных чипов Blackwell, продемонстрировавших отличные результаты в тестах MLPerf Training v5.0. Архитектура Blackwell, созданная для удовлетворения растущих потребностей в производительности современных AI-приложений, показала непревзойдённую эффективность во всех тестах, став единственной платформой, участвующей во всех бенчмарках. Особенно это проявилось в самом сложном тесте, направленном на обучение крупных языковых моделей (LLM), таких как Llama 3.1 405B.

Эти результаты были получены с помощью двух суперкомпьютеров на базе Blackwell — Tyche и Nyx, а также при содействии CoreWeave и IBM, используя 2496 графических процессоров Blackwell и 1248 процессоров Nvidia Grace. Все данные были тщательно проверены и утверждены ассоциацией MLCommons, которая объединяет более 125 членов и партнёров.

В сравнении с предыдущим поколением, Blackwell показал прирост производительности в 2,2 раза при тестировании на Llama 3.1 405B. На испытании Llama 2 70B LoRA fine-tuning системы Nvidia DGX B200, оснащённые восемью GPU Blackwell, продемонстрировали 2,5-кратное увеличение эффективности по сравнению с прошлым тестированием при таком же числе процессоров. Такой значительный скачок объясняется множеством инноваций: жидкостным охлаждением стоек, когерентной памятью объёмом 13,4 ТБ на стойку, использованием технологий межсоединения Nvidia NVLink пятого поколения и Nvidia NVLink Switch для масштабирования, а также сетевой технологии Nvidia Quantum-2 InfiniBand для горизонтальных и вертикальных расширений. Кроме того, обновления в программе Nvidia NeMo Framework улучшают обучение многомодальных LLM нового поколения, что важно для внедрения AI-приложений в реальную работу.

Эти интеллектуальные приложения, способные к сложным рассуждениям и решению задач, будут функционировать в так называемых «AI-фабриках» — дата-центрах, оптимизированных для таких технологий. Они будут производить значимые данные для различных отраслей и научных сфер. Платформа Nvidia для дата-центров включает в себя GPU, CPU, высокоскоростные сети и обширный софт, включающий библиотеки Nvidia CUDA-X, фреймворк NeMo, Nvidia TensorRT-LLM и Nvidia Dynamo. Всё это обеспечивает ускорение обучения и внедрения моделей, значительно сокращая выход на рынок новых решений.

Дэйв Сальватор, директор по продуктам ускоренных вычислений в Nvidia, отметил, что компания делает акцент на предварительном и последующем обучении, подчеркивая, что это лишь начальная стадия инвестиций в ИИ, а доход начинает поступать на этапе внедрения моделей. Он также подчеркнул, что MLPerf представляет собой надёжный индикатор для объективного сравнения производительности различных систем.

Nvidia планирует дальнейшее увеличение мощности Blackwell через программные оптимизации и адаптацию к новым, более сложным задачам. Переход Nvidia от роли производителя чипов к созданию целых систем, стоек и дата-центров, называемых «AI-фабриками», позволяет компании предлагать комплексные решения для ускорения развития искусственного интеллекта.

Источник: iXBT