Компания Google пояснила причины некорректных ответов своей нейронной сети Gemini, которая иногда предлагала вредные советы, например, использовать клей для пиццы или есть камни.
В официальном блоге компании упомянуто, что нейросеть AI Overview не создает собственные ответы и не «галлюцинирует», а лишь ошибочно интерпретирует информацию из интернета. Это происходит из-за нехватки качественных учебных данных и трудностей в понимании контекста и иронических высказываний.
AI Overview, построенная на основе языковой модели, используется в системах веб-рейтинга Google и должна была помогать в нахождении релевантных ответов на запросы. Однако иногда нейросеть предлагала нелепые решения, такие как склеивание пиццы.
Google также обвинила пользователей в искажении результатов выдачи Gemini, утверждая, что популярные скриншоты с рекомендациями оставлять собак в машинах или курить во время беременности были подделаны. При этом компания признала, что некоторые ответы действительно оказались абсурдными и бесполезными, поскольку основывались на данных с пародийных сайтов.
В связи с возникшими проблемами Google обновила свои алгоритмы, чтобы улучшить фильтрацию информации и ограничить использование потенциально вводящего в заблуждение контента. Также был разработан механизм для распознавания сатиры и иронии и фильтрации «бессмысленных запросов». Теперь компания стремится предотвратить повторение подобных инцидентов и повысить качество ответов своего поискового ИИ.