Искусственный интеллект уличили в скрытой расовой и гендерной дискриминации

Профессор Йельской школы менеджмента Тристан Ботело выяснил, что передовые языковые модели при отборе соискателей принимают во внимание гендер и расу, искусно завуалируя любые признаки дискриминации в итоговых заключениях. В основе этого явления, получившего название «символического соответствия стандартам», лежит тревожный паттерн: искусственный интеллект формирует абсолютно безупречную с виду рецензию, хотя его скрытые предикторы уже подвержены влиянию демографических факторов.

Ботело акцентирует внимание на том, что корпоративный сектор хранит в строгом секрете сценарии интеграции ИИ в HR-процессы: «Практически никому не известно, способны ли алгоритмы на подлинно беспристрастный отбор». Часть разработчиков внедряют механизмы выравнивания безопасности (safety alignment), накладывающие штрафы за проявления дискриминации. Тем не менее, принципиальный вопрос заключается в другом: способна ли подобная оптимизация гарантировать подлинную справедливость или она лишь служит щитом от репутационных рисков, искусно камуфлируя изъяны системы.

Данная научная работа имеет глубокий практический контекст. Шестью годами ранее компания Amazon полностью свернула собственный рекрутинговый проект из-за вопиющего изъяна: алгоритм методично занижал оценки кандидаткам, в чьих резюме фигурировало упоминание женского пола. Исследование Ботело выводит дискуссию на качественно новый уровень: на смену примитивным багам вроде дискриминационных триггеров пришли изощренные LLM, способные филигранно обходить защитные барьеры, при этом сохраняя внутренние когнитивные искажения.

Полученные результаты имеют критическое значение для сферы комплаенса, риск-менеджмента и архитектуры HR-платформ. Эксперты настаивают: верификация этичности ИИ не может ограничиваться банальным сканированием текста на предмет стоп-слов. Необходим глубокий аудит чувствительности моделей к персональным данным и регулярное сопоставление метрик для различных социальных групп, невзирая на внешнюю корректность генерируемых ответов.

Источник: iXBT