Qualcomm увеличила объем памяти в NPU Hexagon на 50% для локальных ИИ-агентов

Компания Qualcomm поделилась подробностями об архитектуре Hexagon NPU свежей генерации, предназначенной для локального запуска искусственного интеллекта на базе процессоров Snapdragon. Ключевые доработки коснулись не только вычислительной мощи: разработчики нарастили объем встроенной локальной памяти нейромодуля на 50% и внедрили Element Accelerator — выделенный аппаратный модуль для эффективной обработки трансформерных моделей, функционирующий в связке с уже привычными блоками. В каких именно чипсетах Snapdragon дебютирует новейший NPU, производитель держит в секрете.

Расширение локального буфера критически важно, поскольку архитектура трансформеров требует постоянного манипулирования промежуточными вычислениями, состояниями и активациями. Частые обращения к внешней оперативной памяти LPDDR неизбежно влекут за собой задержки и повышенное энергопотребление. Инженеры Qualcomm стремятся удерживать ключевые массивы данных в непосредственной близости от вычислительных ядер, что критически важно при анализе объемных контекстов и параллельном запуске нескольких ИИ-ассистентов. Для моделей с квантованием INT4 заявлен прирост производительности до 50% на этапе префилла — предварительной обработки запроса перед генерацией ответа.

Особое внимание разработчики уделяют поддержке архитектуры Mixture-of-Experts (MoE), где для каждой отдельной итерации задействуется лишь часть весов нейросети. В качестве наглядного примера приводится модель на 30 миллиардов параметров, из которых в конкретный момент времени активируется лишь около 3 миллиардов. В комплексе с интеллектуальным управлением кэшем и накопителем это позволит беспрепятственно запускать масштабные языковые модели на гаджетах с относительно скромным объемом ОЗУ. Заявлена поддержка широкого спектра типов данных — от INT2 и INT4 до INT8, FP8 и FP16, что позволяет гибко балансировать между точностью инференса и экономией ресурсов.

Тем не менее, конкретные цифры создатели пока не раскрывают: в публичном поле по-прежнему отсутствуют данные об абсолютном объеме локальной памяти, пиковой производительности и уровне энергопотребления NPU. Заявленный полуторакратный прирост скорости базируется исключительно на внутренних тестах компании для моделей формата INT4 и еще ждет независимого подтверждения.

Полный перечень технических параметров станет известен во время традиционного саммита Snapdragon Summit, который пройдет на Гавайях с 22 по 24 сентября. Именно там Qualcomm презентует флагманскую платформу, получившую на вооружение усовершенствованный процессор Hexagon.

Источник: iXBT