Университет Индианы займется поиском уязвимостей в ИИ-моделях с открытым исходным кодом, применяемых учеными для ускорения исследований

Национальный научный фонд США (NSF) профинансировал инициативу Университета Индианы на сумму $1,18 млн, цель которой — оградить академические изыскания от угроз, сопряженных с внедрением общедоступных ИИ-моделей.

Исследовательская среда все шире задействует открытые нейросети для обработки массивов информации, выявления скрытых трендов и интенсификации прорывов в самых разных дисциплинах — от биомедицины до астрофизики. Тем не менее общедоступные платформы вроде GitHub и Hugging Face наряду с доступностью формируют принципиально иные угрозы безопасности. Среди ключевых опасностей выделяют непреднамеренное обнародование врачебной тайны, хищение патентов и ноу-хау, скрытые бэкдоры, а также деструктивные промпт-инъекции, принуждающие алгоритмы сливать информацию злоумышленникам. Как акцентирует лидер проекта Сагар Самтани, прозрачность кода выступает одновременно ключевым преимуществом и критической брешью, ведь для адаптации под узкоспециализированные задачи алгоритмам требуется перерабатывать гигантские массивы конфиденциальных сведений.

Реализация гранта пройдет в три последовательные стадии. На первом этапе эксперты выявят наиболее востребованные в академической среде открытые ИИ-модели и составят карту их уязвимостей. На втором — создадут специализированные интеллектуальные инструменты, призванные помочь ученым рассчитывать риски, находить более надежные аналоги и выпускать патчи для ликвидации слабых зон. Апробация разработок состоится на базе Jetstream2 — профильного облачного ресурса NSF для нужд науки и инженерии, обеспечивающего работу сотен государственных проектов.

К работе над инициативой подключились специалисты по информационной безопасности из различных университетских департаментов, а также базирующийся при вузе Объединенный центр киберопераций для сферы высшего образования OmniSOC. По словам Самтани, «крайне важно гарантировать, что задействованные в изысканиях ИИ-системы лишены скрытого функционала, способного привести к утечке интеллектуальной собственности сторонним лицам».

Источник: iXBT