Гигаваттный суперкомпьютер Илона Маска приступил к одновременному обучению семи нейросетей

Илон Маск анонсировал запуск одновременного обучения семи масштабных языковых и мультимодальных нейросетей на базе суперкомпьютерного кластера Colossus 2.

В настоящее время процесс подготовки проходят следующие архитектуры:

• Imagine V2 (усовершенствованная модель для генерации визуального контента и видео);
• две вариации моделей с 1 трлн параметров;
• две модификации объемом 1,5 трлн параметров;
• высокопроизводительная модель на 6 трлн параметров;
• флагманская система, насчитывающая 10 трлн параметров.

Визуализация Grok

Отвечая на вопрос о длительности циклов разработки, Илон Маск уточнил, что фаза предварительного обучения (pre-training) для наиболее сложной 10-триллионной модели занимает около двух месяцев.

Инфраструктура Colossus 2, развернутая компанией xAI для эволюции Grok и решения других ресурсоемких задач, уже введена в эксплуатацию. Этот вычислительный комплекс стал первым в истории ИИ-кластером с уровнем энергопотребления в 1 ГВт. Для наглядности: эта цифра превосходит пиковую нагрузку на электросети такого мегаполиса, как Сан-Франциско.

Источник: iXBT