Они позволят разработчикам лучше понимать поведение моделей машинного обучения и контролировать их.
Microsoft представила инструменты ответственного использования машинного обучения, которые позволят корректировать проблемы с нейросетями. Система поможет исправить нерепрезентативность выборки, незазищённость данных и не только. Об этом TJ сообщили в компании.
Как отметил вице-президент Microsoft Azure AI Эрик Бойд, от разработчиков всё чаще требуют создание ИИ-систем, работу которых легко объяснить и которые соответствуют нормативным требованиям. Но эксперты в области машинного обучения не всегда способны сами оценить корректность работы систем.
Чтобы решить проблему, Microsoft запустила инструменты, которые позволят лучше понимать поведение моделей машинного обучения, обеспечивать конфиденциальность данных и избежать некорректной выборки. Новые функции будут доступны в сервисе Azure Machine Learning, а также в виде открытого кода на GitHub.
За понимание модели отвечает инструмент InterpretML. Оценку и повышение объективности ИИ-систем обеспечивает Fairlearn — он позволяет разработчикам проверить эффективность модели на группах людей разного пола, цвета кожи, возраста и по другим характеристикам. Инструмент WhiteNoise обеспечивает дифференциальную приватность. Все инструменты могут экспериментировать с открытым кодом на GitHub и использовать его в Azure Machine Learning.
Microsoft привела несколько примеров необходимости инструментов этичного использования машинного обучения. В 2016 году старший исследователь лаборатории компании в Рэдмонде Марко Тулио Рибейро представил научный доклад, в котором объяснил принцип работы классификаторов моделей компьютерного зрения.
Чтобы показать работу технологии он обучил систему предсказывать, что на фото со снежным фоном будет изображён «волк», а на фото без снег — «хаски». После этого он применил модель на изображениях волков в заснеженных пейзажах, а хаски без снега и показал результаты экспертам, которые не знали, на чём была обучена система.
Разработчик спросил у специалистов, доверяют ли они модели и как она строит прогнозы. Меньше половины из экспертов упомянули фон в качестве возможного фактора, и никто не указал снег. Остальные были уверены в системе и считали, что она обращала внимание на заострённые зубы.
Затем я показал им объяснения, и увидев их, разумеется, практически все поняли, что модель ориентируется только по фону. Это доказывает, что плохая модель способна ввести в заблуждение даже экспертов.
