Во сколько обходится создание ИИ?

Создание умного и сообразительного ассистента на основе большой языковой модели — дорогостоящая задача. Разбираемся, каких вложений требуют ChatGPT и другие флагманы индустрии.

ChatGPT

Первая версия GPT — «предварительно обученный генеративный трансформер» — вышла в 2018 году. Модель насчитывала 117 миллионов параметров и обучалась на неразмеченных текстах. Она заложила основу для полууправляемого обучения, позволяющего решать широкий круг задач обработки естественного языка.

Архитектура трансформерной модели — уже часть истории. Источник.

Первая GPT была скромным экспериментом и обошлась разработчикам приблизительно в $1 000–4 000. Точная сумма так и не была обнародована — впоследствии скрытность в вопросах расходов стала для OpenAI привычной.

GPT-2 представили год спустя. По распространённым оценкам, её обучение в 2019 году, последнем «доковидном» году, стоило около $43 000.

С выходом GPT-3 масштабы изменились радикально. Если вторая версия содержала 1,5 миллиарда параметров, то у третьей их стало в сто раз больше — 175 миллиардов.

Этот серьёзный рывок произошёл в 2020 году: команда OpenAI проверяла гипотезу о том, что универсальность модели и её способность выполнять задачи без дополнительного обучения растут вместе с объёмом параметров и данных. Точные расходы компания не раскрыла.

Штаб-квартира OpenAI. Источник.

Lambda Labs подсчитала, что обучение модели такого размера потребовало бы 3,14×10²³ FLOPS. На одном из самых доступных графических процессоров обработка такого объёма вычислений заняла бы 355 лет.

Как выяснил журнал Time, отдельной статьёй расходов стал найм аннотаторов из Кении. Они просматривали и вручную отбирали материалы с особенно тяжёлым содержанием, чтобы обучить систему выявления вредоносного контента. Работникам приходилось сталкиваться с мрачными сторонами интернета — в том числе с описаниями убийств и жестокого обращения с животными. Компания Sama платила им от $1,32 до $2 в час, хотя OpenAI выделяла на такую работу $12,50 в час. Один из аннотаторов позднее сказал: «Это была пытка».

Офис компании Sama. Источник.

Затраты на GPT-4 выросли почти в десять раз, но точная сумма снова осталась неизвестной. Сэм Альтман лишь намекнул, что обучение модели обошлось более чем в сто миллионов долларов.

Согласно одной из оценок, GPT-4 обучали на приблизительно 25 000 графических процессоров NVIDIA A100 в течение 90–100 дней. В 2022 году одна такая карта с 40 гигабайтами видеопамяти стоила около $10 000–12 000. Таким образом, только на ускорители могло уйти $250–300 миллионов — без учёта инфраструктуры, электричества и высоких зарплат специалистов по ИИ.

Затем появилась GPT-5, ранее известная под кодовым названием «Орион». На её обучение, продолжавшееся около полугода, потребовалось не менее полумиллиарда долларов. В эту сумму вошли аренда серверов и расходы на электроэнергию. Остальные средства направили на разработку архитектуры Orion, создание тренировочных симуляций, многоагентные эксперименты и приобретение доступа к качественным онлайн-материалам.

Всего за восемь лет стоимость любимого «Чатика» выросла примерно с тысячи долларов до почти триллиона — даже по самым осторожным подсчётам.

Claude

Anthropic не стала долго раскачиваться и быстро включилась в гонку за создание собственной передовой модели. Во многом этому помогло происхождение компании: её основали бывшие сотрудники OpenAI, в том числе брат и сестра Дарио и Даниэлла Амодеи, а также другие опытные исследователи.

Одна из площадок Anthropic. Источник.

Обучение Claude также усовершенствовали с помощью так называемого конституционного метода. Модель ориентируется на заранее заданные принципы и поэтому меньше зависит от масштабной обратной связи от людей. Иными словами, ей дают свод правил и предлагают следовать ему.

Как и в случае с ChatGPT, точные расходы на создание Claude неизвестны. Первая модель, названная в честь Клода Шеннона, включала около 52 миллиардов параметров и обучалась на TPU компании Google. По приблизительным оценкам, только обучение могло стоить $5–15 миллионов.

Клод Элвуд Шеннон — пионер кибернетики, учёный-эрудит и автор теории информации. Источник.

С данными для обучения всё оказалось сложнее. Первую большую подборку Anthropic получила почти бесплатно: электронные версии миллионов книг скачали с пиратских ресурсов, включая LibGen и Books3.

Но бесплатные книги, как говорится, бывают только в мышеловке. Anthropic стала ответчиком по делу Bartz против Anthropic, связанному с нарушением авторских прав. Разбирательство завершилось компенсацией в размере $1,5 миллиарда. Параллельно компания запустила «Проект Панама»: закупала подержанные печатные книги, сканировала их и использовала цифровые копии. На эту работу также ушли десятки миллионов долларов.

Возможно, одно из книгохранилищ Anthropic, где собирали книги для «Проекта Панама». Источник.

О расходах на обучение последующих моделей Claude известно ещё меньше: Anthropic не публикует ни точных сумм, ни условий соглашений с облачными провайдерами. Компания заключила многомиллиардные договоры на вычислительные мощности с AWS, Google и другими партнёрами. По некоторым оценкам, их совокупная стоимость приближается к $895 миллиардам.

Grok

Grok устроен несколько иначе, чем многие конкурирующие модели: в его основе лежит архитектура «смеси экспертов», или MoE.

Как устроена архитектура MoE. Источник.

Такая система динамически выбирает, какие экспертные подсети задействовать для обработки конкретного запроса. Благодаря этому число параметров можно увеличивать без такого же роста вычислительных затрат и энергопотребления при обработке каждого токена.

По оценке Epoch AI, обучение Grok 4 стоило около $490 миллионов. Однако эти расходы могут показаться скромными на фоне стоимости оборудования: для работы с моделью задействовано 200 000 видеокарт NVIDIA H100, H200 и GB200. Часть данных раскрыл сам Илон Маск: по его словам, Grok 3 обучали на 100 000 ускорителях H100, стоимость которых оценивается в $3–4 миллиарда.

DeepSeek

Талисман DeepSeek — голубой кит, крупный обитатель морских глубин, который ежедневно поглощает тонны криля. Но, в отличие от своего символа, модели компании, если верить официальным данным, не требуется столь много ресурсов для эффективной работы.

Штаб-квартира DeepSeek в Ханчжоу, китайской «кремниевой долине», напоминает автосалон. Источник.

Согласно заявлениям компании, финальный этап обучения DeepSeek-V3, модели, которая быстро генерирует ответы, обошёлся всего в $5,6 миллиона. Для системы с более чем 600 миллиардами параметров это исключительно малая сумма. За весь цикл модель использовала 2,79 миллиона GPU-часов на ускорителях H800 от Nvidia.

Модель для глубоких рассуждений DeepSeek-R1 обучали 80 часов на 512 картах Nvidia H800. По данным компании, расходы составили $294 000.

DeepSeek также использует архитектуру MoE. Источник.

Qwen

Сколько Alibaba вложила в свою флагманскую модель Qwen, определить сложно. Как и Grok, она использует архитектуру MoE. Возможно, один запуск обучения обходится примерно в $5,6 миллиона — столько, по заявлениям, потребовалось для DeepSeek.

Alibaba Group располагает парком из 20 000 графических процессоров H200. На этих же ускорителях, к слову, обучали модель Kimi, созданную её пекинскими конкурентами из Moonshot.

При этом Alibaba активно сокращает расходы на обучение Qwen за счёт архитектурных решений. Например, метод ZeroSearch учит модель искать и анализировать информацию в интернете, не обращаясь к реальным поисковым системам на этапе обучения с подкреплением.

Архитектура Qwen3-Next. Источник.

В результате модель лучше отличает надёжные сведения от информационного шума, которым переполнен интернет. Такой подход, как утверждается, позволяет сократить расходы на обучение примерно на 88%. Вероятно, подобные решения помогают Qwen оставаться доступной по цене для одних пользователей и бесплатной для остальных.

Что это означает?

Разработка ИИ, особенно больших языковых моделей, требует колоссальных вложений. Создать собственный мощный искусственный интеллект смогут лишь немногие государства. Россия пока к их числу не относится. Не исключено, что со временем возникнет закрытый «клуб ИИ» — по аналогии с ядерным клубом.

 

Источник