Компания Яндекс сообщила, что совместно с Институтом системного программирования имени В. П. Иванникова РАН и Сеченовским Университетом впервые применила федеративное машинное обучение на практике в России. Этот метод также известен как коллективное обучение и подходит для проектов с несколькими участниками, у каждого из которых имеются свои собственные наборы данных. Федеративный подход предоставляет возможность коллективного обучения нейронных сетей без передачи данных другим участникам.
Первоначально модель обучается на данных каждого участника, после чего на центральный сервер передаются результаты обработанных данных, но не сами данные. На этих результатах осуществляется обучение глобальной модели. Благодаря этому подходу, данные остаются в пределах организаций, и доступ к ним получают только их владельцы. Яндекс подчеркивает, что компании из отраслей с высокими требованиями к конфиденциальности информации, такие как финансы, медицина или промышленность, могут принимать участие в таких проектах.
Совместными усилиями, используя федеративное обучение, Яндекс, ИСП РАН и Сеченовский Университет Минздрава России разработали нейросеть, которая выявляет фибрилляцию предсердий на основе электрокардиограмм. Для этого использовались два независимых набора данных с электрокардиограммами: от Сеченовского университета и от ИСП РАН. Эти участники проводили обучение на своих данных и затем делились результатами в общем контуре.
В будущем клиенты Yandex Cloud смогут воспользоваться возможностями федеративного машинного обучения. Новый подход позволит компаниям, которые прежде избегали сотрудничества из-за риска передачи конфиденциальной информации, участвовать в совместных проектах. В Яндексе уверены, что большее количество участников повлияет на повышение качества моделей — разнообразие и объем данных для обучения будут расти. Кроме того, этот подход будет полезен тем, кого разделяют большие расстояния.
Источник: iXBT
