Исследователи лаборатории назвали это «типографской атакой».
Чтобы заставить программу неверно идентифицировать предмет, достаточно прикрепить к нему записку с неправильным названием. Об этом пишет The Verge.
По словам экспертов, «типографская атака» напоминает атаку с использованием состязательных изображений. Например, с их помощью можно обмануть программное обеспечение беспилотных автомобилей Tesla, чтобы они без предупреждения меняли полосу движения. Также это может создать угрозу для многих приложений искусственного интеллекта, от медицинских до военных.
Однако в данном случае беспокоиться не о чем — речь идёт об экспериментальной системе CLIP, которая пока не используется ни в одном коммерческом продукте. CLIP предназначен для изучения того, как системы искусственного интеллекта могут научиться определять объекты без пристального наблюдения, обучаясь на базах данных пар изображений-текст. Для обучения системы OpenAI использовал около 400 миллионов таких пар.
Исследователи OpenAI обнаружили отдельные компоненты в сети машинного обучения, которые реагируют не только на изображения объектов, но и на эскизы, рисунки и связанный с ними текст. Это назвали «мультимодальными нейронами». Исследователи считают, что системы искусственного интеллекта усваивают знания таким же способом, как это делают люди.
В будущем это может привести к появлению более сложных систем компьютерного зрения, но сейчас подобное находится в зачаточном состоянии. Любой человек может отличить яблоко от листа бумаги с написанным на нем словом «яблоко», но искусственный интеллект вроде CLIP на это пока не способен. Способность, которая позволяет программе связывать слова и изображения на абстрактном уровне, создаёт уникальную ошибку, которую в OpenAI назвали «заблуждением абстракции».
Ещё один пример ошибки, который привела лаборатория, — то, как ИИ определяет копилки. Если добавить к изображению любого предмета значки долларов, CLIP посчитает его копилкой.
