Борьба художников за рабочие места с ИИ

Борьба художников за рабочие места с ИИ

Громоподобный шаг научно-технического прогресса слышен издалека: сквозь года до нас доносится эхо шагов из будущего. Шрамы ран, полученных в предыдущие промышленные революции, априорные, переданные через учебники и опыт предков, болезненно сжимаются под воздействием этого эха. Как и всё великое, дела человечества пугающе красивы.

Наверное, поэтому все мы стали в той или иной мере, но скажем честно, опасаться ИИ заранее. А пока фантазировали, он зашёл не совсем оттуда, откуда его ждали. 

В 2004, когда выпускали фильм  «

Пример иллюстрирует, как Nightshade отравляет концепт «собака», используя «кошка». Опорные изображения (справа) создаются путем многократного запроса «фото кошки» в SD-XL. Ядовитые изображения (посередине) представляют собой измененные версии естественных снимков «собак», которые похожи на опорные изображения по представлению характеристик.

И, наконец, кульминация: самый поразительный факт всей работы. Чтобы отравить насмерть конкретный концепт, например, «собака», да ещё и так, что с эффектом «Эффект кровотечения наглядно.

Эффект кровотечения наглядно.

При этом, чтобы сделать результаты малополезными, может быть достаточно вообще всего от 25 сэмплов. На 50 плохеет невооружённым взглядом:

Примеры изображений, созданных моделями SD-XL, отравленными Nightshade, и чистой моделью SD-XL.
Примеры изображений, созданных моделями SD-XL, отравленными Nightshade, и чистой моделью SD-XL.

Обратите внимание, что эксперименты выполнялись в т.ч. на StableDiffusion SDXL — свежей и очень сильной модели.

И даже более, чтобы сломать не только конкретные концепты, а вообще всю модель, достаточно разломать совсем немного концептов:

Данные концепты не были целью атаки
Данные концепты не были целью атаки

Кратко скажу, что все методы противодействия таким отравленным примерам, которые могут придти в голову навскидку, не помогают. Авторы Nightshade исследовали основные: фильтрация или даже полное пересоздание текстовых пар через image-text alignment модели (такие, как  

Источник

Читайте также