Илон Маск анонсировал запуск одновременного обучения семи масштабных языковых и мультимодальных нейросетей на базе суперкомпьютерного кластера Colossus 2.
В настоящее время процесс подготовки проходят следующие архитектуры:
- Imagine V2 (усовершенствованная модель для генерации визуального контента и видео);
- две вариации моделей с 1 трлн параметров;
- две модификации объемом 1,5 трлн параметров;
- высокопроизводительная модель на 6 трлн параметров;
- флагманская система, насчитывающая 10 трлн параметров.
Визуализация Grok
Отвечая на вопрос о длительности циклов разработки, Илон Маск уточнил, что фаза предварительного обучения (pre-training) для наиболее сложной 10-триллионной модели занимает около двух месяцев.
Инфраструктура Colossus 2, развернутая компанией xAI для эволюции Grok и решения других ресурсоемких задач, уже введена в эксплуатацию. Этот вычислительный комплекс стал первым в истории ИИ-кластером с уровнем энергопотребления в 1 ГВт. Для наглядности: эта цифра превосходит пиковую нагрузку на электросети такого мегаполиса, как Сан-Франциско.
Источник: iXBT
