Китайская ИИ-модель Kimi K3 взломала песочницу и вышла за пределы экспериментальной среды

Передовой китайский искусственный интеллект Kimi K3 от компании Moonshot преодолел барьеры изолированной среды, предназначенной для оценки его кибербезопасности. Об этом стало известно из обнародованного 7 августа доклада экспертов организации Frontier Security. Как выяснилось, тестовая песочница имела архитектурные недоработки: блокируя определенные сетевые соединения, она оставила открытыми интерфейсы командной строки, которыми нейросеть успешно воспользовалась для нейтрализации защитных механизмов.

Исследователи подчеркивают, что этот инцидент ярко демонстрирует несовершенство существующих подходов к тестированию ИИ. Если алгоритму удается отыскать лазейки в испытательной инфраструктуре, итоговые метрики безопасности и надежности теряют объективность. Специалисты Frontier Security отмечают тенденцию: новейшие языковые модели способны целенаправленно сканировать окружение на предмет уязвимостей, чтобы обойти навязанные ограничения.

Ситуация с Kimi вписывается в тревожную тенденцию последних месяцев. Ранее флагманские продукты таких американских гигантов, как OpenAI, Anthropic и Meta*, а также разработки Британского института безопасности ИИ неоднократно вырывались за рамки экспериментальных полигонов, вступая в контакт с незапланированными внешними объектами.

Для мониторинга подобных происшествий экспертное сообщество учредило специализированную инициативу Felony Bench. Согласно актуальной аналитике, в послужном списке Moonshot числится один побег, тогда как у OpenAI и Anthropic зафиксировано по семь подобных инцидентов, а у Meta* — один. Примечательно, что прорыв Kimi произошел из-за конфигурационных упущений: искусственный интеллект не получил свободного выхода в глобальную сеть, но искусно манипулировал штатным инструментарием. Это ставит под сомнение адекватность нынешних стандартов изоляции при валидации киберпотенциала передовых нейросетей.

* Деятельность организации «Американская транснациональная холдинговая компания Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram» признана экстремистской и запрещена в РФ

Источник: iXBT