Исследователи из Массачусетского технологического института (MIT) провели масштабный анализ 809 больших языковых моделей, представленных в период с октября 2022 по март 2025 года, чтобы определить ключевые драйверы их эффективности. Полученные результаты опровергают популярную гипотезу о наличии у лидеров рынка некой «секретной формулы» успеха.
В работе были выделены четыре определяющих фактора: объем вычислительных ресурсов, общеиндустриальный прогресс алгоритмов, закрытые инженерные наработки и нюансы архитектуры. Выяснилось, что от 80% до 90% качественных скачков в области ИИ обусловлены исключительно масштабированием вычислений, задействованных в процессе обучения моделей.
Визуализация: Sora
Вклад уникальных корпоративных технологий и специфических инженерных решений оценивается лишь в 14–18%. Это свидетельствует о том, что даже самые совершенные алгоритмические оптимизации не могут конкурировать с прямым преимуществом в аппаратных мощностях.
За трехлетний период объем вычислений, необходимых для подготовки флагманских моделей, увеличился примерно в 5000 раз. При этом универсальные улучшения в методологии обучения позволили повысить его продуктивность в 7,5 раза, что наиболее заметно проявилось в сегменте компактных систем.
Исследование также продемонстрировало колоссальный разрыв в эффективности между разработчиками: отдельным командам удавалось достигать сопоставимых результатов, используя в 61 раз меньше вычислительных ресурсов, чем их конкурентам.
Авторы резюмируют: в ближайшем будущем именно обладание передовыми дата-центрами и высокопроизводительными чипами станет решающим фактором в глобальной гонке за создание совершенного интеллекта. Оригинальные алгоритмы и творческие инженерные подходы сохраняют свою значимость, однако их влияние на итоговое превосходство остается ограниченным.
Источник: iXBT
