ИИ по-прежнему плохо подделывает живое общение, особенно когда дело доходит до эмоций

Современные большие языковые модели пока не умеют убедительно воспроизводить живую человеческую речь, причём даже тогда, когда их специально обучают подражать конкретным пользователям. Такой вывод сделали авторы работы, в которой ответы девяти открытых моделей сопоставили с настоящими сообщениями людей в X, Bluesky и Reddit.

Алгоритмы машинного обучения отличали человеческие ответы от машинных с точностью 70–80%, и это сохранялось даже после калибровки моделей, то есть их дополнительной подстройки под манеру общения и особенности авторов.

Для этой цели исследователи создали CHAT (Conversational Human Authenticity Test) — инструмент, оценивающий, насколько искусственный текст похож на человеческий. Он учитывает сразу несколько параметров: насколько легко распознать машинный ответ, насколько он близок к человеческому по смыслу, а также чем отличаются стиль, словарный запас, эмоциональный тон и тематика. Благодаря этому можно не просто зафиксировать различия, но и увидеть, какие черты речи модели передают хуже всего. Тестировались девять моделей семейств Apertus, DeepSeek, Gemma, Llama, Mistral и Qwen, а также пять стратегий настройки, среди которых дообучение, примеры стиля и подбор релевантного контекста.

Надёжнее всего искусственный текст выдавала эмоциональная окраска. Настройка помогала моделям точнее копировать формальные признаки сообщений — например, длину предложений и число слов, — однако расхождения в тональности и выражении эмоций оставались. Кроме того, анализ подтвердил стабильную значимость сентимента и токсичности: именно эти признаки связаны с выражением отношения и эмоциональных реакций.

Другими словами, модели лучше освоили внешнюю форму онлайн-общения, чем его эмоциональное содержание.

Простое увеличение масштаба модели ситуацию не исправило: Llama 3.1 на 70 млрд параметров заметно не превзошла куда более компактные аналоги. Больше того, модели, не прошедшие дополнительного обучения следованию инструкциям, в целом подражали человеческой речи успешнее, чем те, что целенаправленно затачивали под выполнение запросов. Результат зависел и от площадки: убедительнее всего модели справлялись с общением в X, хуже — с Bluesky, а труднее всего им давался Reddit с его более разнообразными нормами разговора.

Ключевое ограничение проявилось при сопоставлении естественности и смысловой точности. Приёмы, благодаря которым ответы труднее было распознать классификаторам, одновременно уменьшали их смысловую близость к реальным сообщениям людей. И наоборот: ответы, наиболее точные по смыслу, чаще определялись как машинные. Этот компромисс не исчезал при смене способов настройки и отбора сгенерированных ответов. Более свободные параметры генерации тоже снижали заметность ИИ-текста, но за счёт ещё большего ухудшения смыслового соответствия.

Эти результаты особенно значимы для социальных наук, где языковые модели всё чаще применяют для имитации респондентов опросов, прогнозирования благополучия, изучения политического поведения и моделирования общественных реакций.

Источник: iXBT