Facebook вслух расскажет о сюжете фотографии

В Facebook появилась новая функция, ориентированная, в первую очередь, на слепых и слабовидящих людей, позволяющая им получать представление о том, что изображено на фотографиях. С помощью искусственного интеллекта данный инструмент может вслух описывать любой снимок, размещённый в новостной ленте социальной сети.

Программа способна рассказать и другую информацию о фотографии, а именно когда она была опубликована, кто её автор, как он её подписал, сколько «лайков» она собрала и сколько других пользователей прокомментировали её. Ранее при использовании сервиса чтения текста вслух люди с проблемным зрением получали лишь голосовое уведомление о наличии в сообщении картинки.

Работа над платформой распознавания изображений велась на протяжении десяти месяцев целой командой разработчиков. Сервис, который они создали, представляет собой глубокую свёрточную нейронную сеть с миллионами настраиваемых в результате обучения параметров. Он может «узнавать» объекты, сцены и даже определённые места.

Алгоритм описания таков: сначала программа называет число людей в кадре (если они есть), сообщает, улыбаются ли они, затем перечисляет все «увиденные» объекты, после чего даёт представление об окружающей обстановке (происходило ли запечатлённое событие на улице или в помещении, сделан ли снимок как селфи и т. д.).

На данный момент функция доступна лишь в приложении Facebook для iOS и поддерживает только английский язык. Однако в обозримом будущем разработчики обещают реализовать её и в Android-клиенте соцсети, а также добавить другие популярные языки. Заметим, что в настоящее время, согласно статистике, в Facebook зарегистрировано свыше 39 миллионов слепых и 246 миллионов слабовидящих.

Источник: