Кембридж и Google DeepMind представили первый научный метод оценки «личности» нейросетей

Команда ученых из Кембриджского университета совместно с Google DeepMind представила дебютную научно обоснованную методику анализа и моделирования «персональных качеств» больших языковых моделей (LLM), на которых базируются современные чат-боты вроде ChatGPT. Применив классический психологический инструментарий, исследователи доказали: ИИ не просто копирует манеры поведения, его «характер» поддается объективному измерению и целенаправленной корректировке.

В рамках изысканий выяснилось, что наиболее достоверно человеческие черты воспроизводят именно масштабные нейросети. Гибкость их архитектуры позволяет трансформировать эти характеристики с помощью текстовых инструкций, напрямую влияя на стиль и качество выполнения поставленных задач.

Эксперты подчеркивают: наделение ИИ выраженной индивидуальностью существенно повышает его убедительность, что сопряжено с рисками манипулятивного воздействия. В связи с этим авторы настаивают на внедрении строгих стандартов регулирования для обеспечения прозрачности алгоритмов и предотвращения неэтичного использования технологий.

Для независимого аудита и превентивной проверки передовых систем перед их широким внедрением ученые предоставили открытый доступ к специализированному набору данных и программному коду, предназначенному для тестирования «личности» ИИ.

Чтобы верифицировать предложенный метод, специалисты проанализировали корреляцию между поведением чат-ботов в прикладных сценариях и их показателями по классической «Большой пятерке» (OCEAN): открытость опыту, добросовестность, экстраверсия, доброжелательность и эмоциональная устойчивость (невротизм).

В основу исследования легли адаптированные версии опросников Revised NEO Personality Inventory (состоящий из 300 пунктов) и лаконичный Big Five Inventory. Опыты показали, что мощные, хорошо обученные модели демонстрируют стабильные и прогнозируемые психологические профили, в то время как компактные версии ИИ зачастую выдают хаотичные и противоречивые результаты.

С помощью выверенных промптов авторы научились варьировать каждую из черт по девятибалльной шкале. Например, искусственный интеллект можно было сделать подчеркнуто коммуникабельным или, напротив, склонным к эмоциональной нестабильности — причем эти изменения четко прослеживались в результатах работы, будь то генерация контента для социальных сетей или выполнение иных творческих задач.

Источник: iXBT