Microsoft разработала ИИ-систему для создания изображений по текстовым описаниям

Корпорация Microsoft сообщила о разработке системы на основе искусственного интеллекта (ИИ), которая способна формировать изображения по текстовому описанию.

Программный бот использует так называемую технологию GAN — Generative Adversarial Network. Она содержит две модели машинного обучения, одна из которых генерирует изображения по текстовому описанию, а другая отвечает за оценку их достоверности.

Учёные также разработали специальный алгоритм AttnGAN, который позволяет не обрабатывать предложение целиком, а разбивать его на отдельные слова. За счёт этого технология более точно выбирает область для размещения каждой детали изображения.

В качестве примера Microsoft приводит создание изображения птицы. В текстовом описании сказано лишь, что она имеет оперение жёлтого цвета, чёрные крылья и короткий клюв. Результат (см. иллюстрацию) впечатляет.

Любопытно, что система способна дорисовывать объекты, которые подходят к композиции по смыслу. К примеру, на большинстве фотографий птицы изображены сидящими на ветвях деревьев. Технология может добавить этот элемент, даже если он не прописан в задании.

Технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов. По мнению разработчиков, при возможности использования больших вычислительных мощностей, алгоритм сможет также создавать анимационные фильмы по тексту сценария.