Обнаружена уязвимость в GPU: LeftoverLocals опасна при обучении языковых моделей

Несколько лет назад одной из самых активных тем в IT были многочисленные уязвимости в процессорах. Теперь такую же обнаружили в современных GPU.  

Называется уязвимость LeftoverLocals (её каталожный номер — CVE-2023-4969). Она позволяет восстанавливать данные из локальной памяти графического процессора. Подвержены ей многочисленные GPU Apple, AMD, Intel, Qualcomm и Imagination, но при этом среди GPU Nvidia, похоже, уязвимых нет, как и среди графических ядер Arm. 

Потребителей эта проблема напрямую не касается, однако она затрагивает процессы, связанные с искусственным интеллектом. В частности, это актуально для процесса машинного обучения и обучения больших языковых моделей. 

К примеру, посредством LeftoverLocals можно украсть около 5,5 МБ за каждый вызов графического процессора (пример приведёт для Radeon RX 7900 XT), что при запуске модели на llama.cpp с 7 млрд параметров добавляет примерно до 181 МБ для каждого запроса LLM. Этой информации достаточно, чтобы с высокой точностью восстановить ответ языковой модели злоумышленником.  

Специалисты, обнаружившие уязвимость, изначально связались со всеми компаниями и передали им соответствующие данные. В итоге некоторые уже успели частично либо полностью избавиться от уязвимости посредством обновлений ПО.