Крупные языковые модели, такие как ChatGPT, демонстрируют высокий уровень мастерства в решении сложных математических задач, успешно проходят экзамены и даже могут предлагать пути разрешения конфликтов между людьми. Впрочем, несмотря на их выдающиеся возможности, генеративный ИИ вызывает определённые опасения: пользователи нередко сталкиваются с некорректными ответами или потенциально небезопасными рекомендациями.
Иногда полезный ИИ может стать источником проблем. Ученые из Университета Джорджа Вашингтона разработали формулу, позволяющую предсказывать момент, когда ИИ становится потенциально опасным. Их исследование показывает, как можно вычислить критическую точку, в которую ИИ переходит от надежного ассистента к неконтролируемому «мистеру Хайду».
По словам профессора Нила Джонсона, «переломный момент» наступает, когда ИИ перегружается информацией, теряет концентрацию и начинает выдавать ошибочные или вымышленные данные — феномен, известный как галлюцинации. Разработанная формула, основанная на скалярных произведениях векторов, учитывает содержание запросов и особенности обучения модели, что позволяет точно определить этап, на котором происходит сбой.
Исследователи также предложили практические шаги для предотвращения подобных сбоев. Например, использование более точных и релевантных слов в запросах способствует сохранению концентрации ИИ. Однако было установлено, что вежливый тон общения с чат-ботом не оказывает влияния на качество его ответов.
Источник: iXBT
