Технологический гигант Nvidia сообщил, что его передовые разработки позволили ведущим игрокам в сфере машинного обучения сократить операционные расходы на ИИ в десять раз. Столь впечатляющий результат был достигнут за счет внедрения открытых моделей на базе высокопроизводительной архитектуры Blackwell.
Основной акцент в данном случае сделан на «токеномике» — концепции, подразумевающей радикальное снижение себестоимости генерации отдельного токена. В Nvidia объясняют этот механизм следующим образом:
Если печатный станок при дополнительных вложениях в инфраструктуру, энергию и материалы начинает выпускать в 10 раз больше продукции, стоимость производства каждой отдельной страницы неизбежно снижается. Аналогичный принцип применим и к вычислительной базе ИИ: грамотные инвестиции в оборудование приводят к такому росту объемов генерации токенов, который значительно опережает рост сопутствующих издержек. В итоге это обеспечивает кратное удешевление каждого токена.
Рассматривая примеры успешной реализации этой стратегии, Nvidia упомянула такие компании, как Baseten и Sully.ai, а также представителей игрового сектора — DeepInfra и Latitude. Использование архитектуры Blackwell обеспечило этим партнерам минимальный уровень задержек, оптимальную стоимость инференса и высокую надежность систем, закрепив за данным технологическим стеком статус приоритетного выбора для разработчиков искусственного интеллекта.
В ближайшем будущем компания намерена поднять планку эффективности инфраструктуры еще выше. С выходом ускорителей Vera Rubin ожидается качественный скачок в производительности благодаря архитектурным инновациям и внедрению специализированных инструментов, таких как механизмы CPX для оптимизации процесса предварительного заполнения (prefill).
Источник: iXBT
