Обе функции работают с помощью машинного обучения.
На конференции MAX 2019 Adobe представила экспериментальные инструменты на основе ИИ, включая функцию оживления картинок и проверки изображений на достоверность. Они работают на платформе Sensei и пока доступны только в экспериментальном режиме.
Благодаря инструменту Project Sweet Talk пользователи могут заанимировать статичный портрет человека или любого другого существа, даже героя комикса. Для оживления картинки достаточно записи голоса: система сама переведёт речь в анимацию рта и головы.
При разработке инструмента использовали тысячи часов видео с говорящими на камеру людьми для обучения алгоритма с YouTube. К удивлению исследователей, в результате система смогла отлично справляться не только с человеческими лицами, но и с рисованными животными и другими существами.
Как пояснили исследователи, алгоритм не получится использовать для создания реалистичных дипфейков с настоящими лицами. По их словам, для этого система пока слишком слабо обучена.
Adobe также представила инструменты на основе ИИ, которые распознаёт манипуляции с изображениями и аудио. Функция About Face анализирует пиксели на снимке и показывает «тепловую карту» с возможными изменениями, а также высчитывает вероятность того, что изображение отредактировали.
Инструмент All In позволяет оказаться в групповом снимке, если пользователь сам его снимает. Для этого достаточно будет сделать две фотографии: один с группой и один отдельно с фотографом, стоявшим за камерой — система сама объединит снимки.
Adobe также показала две функции для работы со звуком. Инструмент Sound Seek распознаёт повторяющиеся звуки-паразиты вроде «эээ» и «ааа» и позволяет удалить их из записи в один клик, а Awesome Audio — удаляет окружающий шум из записи, а также исправляет эхо и «очищает» дорожку в один клик.
