Sony представила первый в мире датчик изображения с собственным процессором искусственного интеллекта

Компания Sony представила два новых датчика изображения: IMX500 и IMX501. Они интересны тем, что это первые датчики, которые способны обрабатывать задачи искусственного интеллекта собственными силами. То есть все необходимые вычисления производятся в самих датчиках.

Для начала отметим, что IMX500 и IMX501 — это один и тот же датчик, просто в первом случае он поставляется без подложки, так что далее мы будем говорить о новом решении, как об одном продукте.

Итак, Sony IMX500/IMX501 — это датчик оптического формата 1/2,3 дюйма с разрешением 12,3 Мп. То есть на сегодняшний день он совершенно не поражает воображение ни размерами, ни разрешением. Датчик позволяет снимать видео в разрешении 4K при 60 к/с и Full HD при 240 к/с.

Что касается уникальных особенностей, датчик располагает специальным процессором обработки изображений с собственной памятью, который полностью берёт на себя обработку задач ИИ, разгружая таким образом основной процессор устройства и ускоряя обработку. Стоит уточнить, что это работает как с фотографиями, так и с видео.

Такие датчики могут использоваться в устройствах со слабым процессором либо же без такового вообще. Да, первоначально это датчики не для смартфонов и вообще не для потребительских устройств. К примеру, такими датчиками могут быть оснащены камеры наблюдения, камеры машинного зрения и так далее. В некоторых случаях вся обработка данных с таких устройств и вовсе производится в облаке, так что новые датчики Sony позволят значительно сэкономить время и сделать данные более защищёнными. Один из примеров — бескассовые магазины Amazon Go, оснащённые сотнями камер.

Также Sony сравнивает свой новый датчик с некоторыми потребительскими устройствами. К примеру, в камере Google Clip или дроне DJI Phantom 4 алгоритм распознавания изображений работает с одним видеокадром сотни миллисекунд и даже более, а IMX500/IMX501 делает это за 3,1 мс. Впрочем, Sony оговаривает, что её датчики ориентированы на работу с базовыми алгоритмами, так что при более сложных задачах всё же потребуются иные вычислительные мощности, но это вполне логично.

Компания уже начала поставку тестовых образцов IMX500, а IMX501 начнут поставлять в июне. Стоимость первого датчика — 93 доллара, второго — 186 долларов.