Главная претензия к ИИ связана со стереотипами, предвзятостью, сценами насилия и порнографией. Это типично, ведь нейросети «скормили» миллионы изображений из интернета.
В начале апреля OpenAI начала тестировать DALL-E 2 — обновлённую версию нейросети, впервые представленную в январе 2021 года. Программа теперь генерирует более качественные изображения, чем предыдущая версия, опираясь лишь на описание на английском языке. Она также может редактировать фотографии, добавляя на них новые предметы и создавать новые рисунки на основе существующих и делать их в духе оригинала. TJ уже рассказывал о первых результатах работы нейросети.
Однако есть риск, что люди будут использовать DALL-E 2 и другие подобные ИИ для создания, к примеру, порнографии или политических дипфейков. Более того, нейросеть укрепляет вредные стереотипы и предубеждения, что может усугубить некоторые социальные проблемы.
Дело в том, что, как это типично для систем искусственного интеллекта, DALL-E 2 унаследовал предвзятость от корпуса данных, используемых для его обучения: миллионы изображений, взятых из интернета, и соответствующих им подписей. Именно поэтому по запросу «юрист» он выдает сплошь фотографии мужчин в костюмах, а по запросу «стюардесса» — улыбающихся женщин (правда, с деформированными чертами лица).
Есть и более серьёзные примеры: ИИ демонстрирует предвзятое отношение к определённым группам, таким как мусульмане, которых он непропорционально связывает с насилием и терроризмом.
OpenAI знает, что DALL-E 2 генерирует результаты, демонстрирующие гендерную и расовую предвзятость: приведённые выше примеры взяты из собственного документа компании «Риски и ограничения».
Содержание скрыто
Показать
Исследователи OpenAI предприняли несколько попыток решить проблемы предвзятости и справедливости. Но они не могли эффективно искоренить эти проблемы, потому что разные решения приводят к разным компромиссам.
Например, исследователи хотели отфильтровать сексуальное содержание из обучающих данных, потому что это могло привести к несоразмерному вреду для женщин. Но они обнаружили, что, когда они попытались отфильтровать это, DALL-E 2 генерировал меньше изображений женщин в целом. Это нехорошо, потому что это приводит к другому виду вреда для женщин — стиранию.
Предвзятость — это огромная отраслевая проблема, на которую нет надёжного ответа. Поэтому большая часть работы сейчас заключается в том, чтобы просто открыто и заранее сообщать пользователям об оставшихся ограничениях.
руководитель отдела политических исследований в OpenAI
Для борьбы с проблемой предвзятости разработчики DALL-E 2 создали так называемую «красную команду». Её задача — найти в нейросети как можно больше недостатков и уязвимостей, чтобы систему можно было улучшить. Всего же доступ к ИИ сейчас имеет около 400 человек — сотрудники и членов совета директоров OpenAI, а также специально отобранные учёные и художники.
Предоставление доступа ограниченной группе пользователей позволяет учить ИИ генерировать более непредвзятые изображения.
Ниже мы опубликовали примеры изображений, получившихся после того, как нейросети «скормили» текстовые описания. Подписи приведены или дословно, или близко к оригиналу.
Получившиеся изображения те публикуют в твиттер — среди них много мемов и шуток
