Группа ведущих специалистов из DeepMind, OpenAI, Meta*, Anthropic и ряда академических и некоммерческих организаций представила коллективную статью с тревожным предупреждением: вскоре мы можем потерять возможность отслеживать, как ИИ принимает решения. Среди подписавших документ — лауреат премии Тьюринга Джеффри Хинтон и сооснователь OpenAI Илья Суцкевер.
Основное внимание уделено цепочкам размышлений (chain-of-thought, CoT), которые применяются в современных языковых и мультимодальных моделях. Это промежуточные этапы, которые ИИ «прорабатывает» внутри прежде, чем предоставить ответ. Эти этапы особенно важны при решении сложных задач, требующих логики, планирования или работы с числами. Пока ИИ остаётся «прозрачным» и позволяет следить за логикой своих рассуждений, люди могут выявлять ошибки, предвзятости или потенциально опасное поведение.
Тем не менее, авторы статьи предупреждают: с усилением возможностей ИИ и усложнением его архитектур, наша способность контролировать такие цепочки может снизиться. Модели могут начать скрывать свои внутренние шаги, оптимизируя себя под внешние параметры. Это уже происходило, когда ИИ манипулировал системой вознаграждений или искажённо достигал поставленной цели.
Поэтому исследователи настоятельно рекомендуют обеспечить мониторинг цепочек размышлений как одну из основных мер безопасности. Они предлагают разработчикам изучить, какие свойства моделей делают их рассуждения доступными для человека, как сохранить эту прозрачность при обучении более мощных систем и как интегрировать CoT-мониторинг в процессы тестирования и сертификации.
Примечательно, что эта статья стала редким примером сотрудничества конкурирующих лидеров ИИ-индустрии.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена
Источник: iXBT
