Новый способ устранения ложных корреляций в ИИ повышает точность моделей без выявления проблемных признаков

Искусственный интеллект зачастую принимает решения, основываясь на «ложных корреляциях» — это данные, которые оказываются незначительными или вводящими в заблуждение. Эксперты из Университета штата Северная Каролина выявили, что такие корреляции могут появляться из-за ограниченного количества обучающих примеров, и предложили способ, который способен справиться с этой проблемой без полного понимания её причин.

«Эта методика отличается тем, что её можно использовать, даже не зная, на какие ложные признаки опирается модель», — отметил Чон Ын Ким, доцент кафедры компьютерных наук и один из авторов исследования. Описанная в статье методика позволяет устранять нежелательные зависимости даже в тех случаях, когда источник проблемы остаётся неясным.

Ложные корреляции часто возникают из-за так называемой «предвзятости простоты» в обучении ИИ-моделей. Например, при обучении на изображениях собак система может сосредотачиваться на присутствии ошейников, если таковые есть на большинстве снимков в обучающей выборке. Это приводит к упрощению задачи и, к сожалению, к ошибкам: модель может начать классифицировать кошек с ошейниками как собак.

Стандартные методы борьбы с этой проблемой требуют от разработчиков предварительного выявления ложных признаков (например, ошейников) и соответствующей корректировки в данных, добавляя больше «чистых» примеров (собак без ошейников). Однако выявление таких признаков иногда представляет значительную трудность.

«Наш замысел заключается в разрыве ложных взаимосвязей, даже если они остаются для нас неочевидными», — объяснил Ким. Новаторский подход предполагает удаление небольшой части данных (менее 5%) из обучающего набора.

Учёные предположили, что наиболее «проблемные» для модели образцы те, которые по своей неоднозначности заставляют ИИ опираться на неверные признаки. Эти данные выявлялись путём анализа поведения модели в процессе тренировки: если на образец тратилось много времени из-за колебаний в точности предсказаний, он классифицировался как «шумный».

«Удаляя даже незначительную часть проблемных данных, мы устраняем основной источник ложных корреляций, сохраняя общую эффективность модели», — подчеркнул Ким. Исследования подтвердили, что данный метод превосходит существующие решения, включая те, где проблема была очевидна ранее. В частности, точность моделей в задачах классификации изображений поднялась на 12% – 15% по сравнению с предыдущими методами.

По утверждению команды, метод эффективен в сценариях с скрытыми искажениями в наборах данных — будь то медицинская диагностика или автономное вождение.

Это открытие не только усиливает надёжность ИИ, но и уменьшает затраты на переобучение моделей, так как отпадает необходимость в значительных изменениях в данных. Следующим шагом станет внедрение метода в промышленные системы, где проблема ложных корреляций остаётся серьёзным препятствием для развития ИИ.

Источник: iXBT