AI-редактор Cursor создал фальшивую политику безопасности, вызвав массовый уход подписчиков

Пользователи редактора кода Cursor, функционирующего на основе искусственного интеллекта, столкнулись с неожиданной трудностью: при смене устройств текущие сессии работы мгновенно завершались. Этот баг существенно нарушил рабочие процессы разработчиков, привыкших использовать несколько станций одновременно. Один из пользователей, связавшись с поддержкой, получил от агента по имени «Сэм» утверждение, что существует новая политика безопасности, ограничивающая использование подписки одним устройством. Однако выяснилось, что эта политика была выдумкой ИИ, что вызвало волну возмущений в сообществе и массовый отказ от подписок.

Первым забил тревогу пользователь Reddit под именем BrokenToasterOven, подробно изложив проблему с прерыванием сессий. Его запрос в службу поддержки Cursor обработал бот «Сэм», который уверенно ссылался на несуществующие правила. Оформленный как официальное заявление ответ вызвал цепную реакцию: десятки программистов заявили о расторжении подписок, сочтя изменения недопустимыми для их рабочих процессов.


AI-редактор Cursor создал фальшивую политику безопасности, вызвав массовый уход подписчиков
Иллюстрация: Leonardo

Этот случай стал наглядным примером конфабуляций ИИ — явления, при котором нейросети восполняют недостающую информацию, выдавая её за правду. Подобные инциденты уже оборачивались последствиями для бизнеса: в феврале 2024 года суд обязал компанию Air Canada вернуть деньги клиентам согласно условиям, оформленным её чат-ботом. Компания пыталась оспорить эту ответственность, утверждая, что ИИ является «независимым юридическим лицом», но суд отклонил этот аргумент.

В отличие от Air Canada, Cursor оперативно признал ошибку. Сооснователь проекта Майкл Труэлл принёс извинения пользователям, объяснив, что сбой возник из-за обновления безопасности на бэкенде, случайно повлиявшего на управление сессиями. Потерпевшему пользователю компенсировали ущерб, а все автоматические ответы поддержки теперь чётко маркируются как сгенерированные ИИ.

Однако многие пользователи остались недовольны тем, что бот «Сэм» изначально не был обозначен как ИИ. «Присвоение ему человеческого имени без предупреждения — это введение в заблуждение», — отметил один из пользователей. Ситуация также подчеркнула иронию: компания, продвигающая ИИ-инструменты для разработчиков, пострадала из-за своего же ИИ.

Эксперты отмечают, что инцидент с Cursor — это не просто технический сбой, а системная проблема внедрения ИИ без должного контроля. «Галлюцинации моделей представляют собой серьёзный риск, особенно когда компании стремятся минимизировать участие человека в важных процессах», — подчеркнул аналитик из MIT Tech Review.

 

Источник: iXBT

Читайте также