Элон Маск сообщил, что для обучения языковой модели Grok 3 потребуется примерно 100 000 ускорителей Nvidia H100

Илон Маск рассказал, что для обучения нового поколения генеративного искусственного интеллекта Grok компании xAI нужно очень много ускорителей Nvidia. 

Обучение модели Grok 2, которая уже вскоре станет доступно, потребовало 20 000 ускорителей Nvidia H100. А вот для Grok 3 нужно будет около 100 000 таких адаптеров. Либо меньшее количество более мощных ускорителей Blackwell. 

По словам Маска, развитию технологий искусственного интеллекта в настоящее время препятствуют два основных фактора: нехватка самых современных ускорителей для ИИ и доступность электроэнергии. Напомним, один H100 потребляет около 700 Вт мощности. Поэтому 100 000 таких карт, соответственно, будут потреблять 70 МВт, и это только сами карты без учёта остальных компонентов. Суммарно вся система вполне может перевалить и за 100 МВт.