Nvidia: платформа Blackwell сокращает затраты на ИИ в 10 раз

Технологический гигант Nvidia сообщил, что его передовые разработки позволили ведущим игрокам в сфере машинного обучения сократить операционные расходы на ИИ в десять раз. Столь впечатляющий результат был достигнут за счет внедрения открытых моделей на базе высокопроизводительной архитектуры Blackwell.

Основной акцент в данном случае сделан на «токеномике» — концепции, подразумевающей радикальное снижение себестоимости генерации отдельного токена. В Nvidia объясняют этот механизм следующим образом:

Если печатный станок при дополнительных вложениях в инфраструктуру, энергию и материалы начинает выпускать в 10 раз больше продукции, стоимость производства каждой отдельной страницы неизбежно снижается. Аналогичный принцип применим и к вычислительной базе ИИ: грамотные инвестиции в оборудование приводят к такому росту объемов генерации токенов, который значительно опережает рост сопутствующих издержек. В итоге это обеспечивает кратное удешевление каждого токена.

Рассматривая примеры успешной реализации этой стратегии, Nvidia упомянула такие компании, как Baseten и Sully.ai, а также представителей игрового сектора — DeepInfra и Latitude. Использование архитектуры Blackwell обеспечило этим партнерам минимальный уровень задержек, оптимальную стоимость инференса и высокую надежность систем, закрепив за данным технологическим стеком статус приоритетного выбора для разработчиков искусственного интеллекта.

В ближайшем будущем компания намерена поднять планку эффективности инфраструктуры еще выше. С выходом ускорителей Vera Rubin ожидается качественный скачок в производительности благодаря архитектурным инновациям и внедрению специализированных инструментов, таких как механизмы CPX для оптимизации процесса предварительного заполнения (prefill).

Источник: iXBT