В основе лежит DALL-E, которую в январе представила OpenAI.
«Сбер» утверждает, что ruDALL-E — первая нейросеть, которая может генерировать картинки по запросу на русском языке.
Нейросеть обучается одновременно на картинках и текстах и может создавать неограниченное число новых изображений по заданному описанию, рассказали vc.ru в «Сбере».
Модель ruDALL-E XL с 1,3 млрд параметров лежит в открытом доступе на GitHub. Есть вторая версия — ruDALL-E 12B с 12 млрд параметров. Обе в ближайшее время будут доступны на платформеML Space в хабе предобученных моделей и датасетов DataHub от SberCloud.
ruDALL-E состоит из трёх нейросетей, первая принимает текст и генерирует заданное число картинок, вторая выбирает более удачные, третья — увеличивает их в размере без потери качества.
Нейросеть DALL-E для генерации картинок по описаниям на английском языке представила OpenAI в январе 2021 года. Команды SberDevices, Sber AI и SberCloud воспроизвели её код и запустили обучение модели на платформе ML Space на базе суперкомпьютера «Кристофари».
Обучение заняло 23 тысячи GPU-часов на массиве данных из 120 млн пар текст-изображение. По данным «Сбера», обучение ruDALL-E стало самым большим нейросетевым вычислительным проектом в России и СНГ.
