ChatGPT от OpenAI обзаведется невидимой маркировкой текстов

Корпорация OpenAI приступила к развертыванию скрытой цифровой водяной марки для материалов, сгенерированных ChatGPT, на территории Европейского союза. Данный шаг обусловлен предписаниями европейского Закона об искусственном интеллекте, обязывающего обеспечивать автоматическое распознавание контента, созданного нейросетями.

В основе метода лежит методика textGrain. Она не внедряет в текст невидимые символы, лишние пробелы или нестандартные знаки препинания, а корректирует вероятностное распределение лексем и токенов по заданному математическому алгоритму. Это позволяет специализированному детектору вычислять вероятную искусственную природу материала.

Ранее разработчики уже создавали аналогичный инструмент, однако воздерживались от его масштабного релиза из-за риска ложноположительных срабатываний, способных навредить, например, при академической оценке студенческих эссе. На сегодняшний день маркировка внедряется в контент, производимый ChatGPT и Codex для европейской аудитории.

Тем не менее, защитный механизм уязвим перед лицом ручной редактуры. Внутренние испытания OpenAI продемонстрировали, что детектор успешно идентифицирует около 80% помеченных фрагментов объемом в 200 токенов и до 95% массивов размером в 400 токенов. Однако при замене всего лишь каждого четвертого слова точность распознавания стремительно падает до скромных 17%.

В OpenAI акцентируют внимание на том, что сам факт наличия водяного знака не служит неопровержимым доказательством стопроцентного авторства нейросети: система бессильна определить пропорцию сгенерированного контента и последующих человеческих правок. Схожую стратегию маркировки для соответствия европейским нормам уже практикует компания Anthropic в ряде версий своего ассистента Claude.

Источник: iXBT