Дешевый микроконтроллер ESP32 за 10 долларов потянул ИИ-модель с 28,9 млн параметров без мощных ускорителей

Украинский инженер Slava S (slvDev) доказал, что запуск автономной языковой модели вполне реален на ультрабюджетном «железе». В рамках инициативы ESP32-AI ему удалось развернуть искусственный интеллект на чипе ESP32-S3 стоимостью порядка 10 долларов, причем полностью офлайн — без обращения к облачным серверам.

На первый взгляд задумка выглядит заведомо невыполнимой. На борту ESP32-S3 имеется лишь 512 КБ собственной оперативной памяти (SRAM), 8 МБ PSRAM и 16 МБ флеш-памяти. Стандартно подобных объемов не хватает даже для размещения облегченных нейросетей.

Для преодоления этого аппаратного барьера разработчик задействовал концепцию Per-Layer Embeddings, применяемую в архитектуре моделей Google Gemma. После 4-битного квантования общий вес модели сократился до 14,9 МБ. Самую массивную матрицу, насчитывающую порядка 25 миллионов параметров, записали на флеш-накопитель, тогда как оперативную память задействовали исключительно под вычислительные процессы. Такой шаг позволил радикально снизить нагрузку на RAM.

Задействованная нейросеть включает 28,9 миллиона параметров и базируется на датасете TinyStories. Она способна создавать исключительно лаконичные литературные зарисовки и не приспособлена для диалогов, программирования или аналитики. Соответственно, данный эксперимент демонстрирует скорее впечатляющий инженерный прорыв и потенциал современных ИИ-архитектур, нежели замену полноценным языковым моделям.

Как полагает создатель проекта, подобная технология найдет применение в автономных гаджетах, где критически важна локальная обработка информации. В частности, умная бытовая техника, промышленные датчики и встраиваемые модули смогут задействовать элементы искусственного интеллекта без привязки к интернету.

Более того, подобная стратегия многоярусного распределения данных способна пригодиться и в масштабных серверных решениях, где сегодня активно исследуют перспективы выгрузки фрагментов нейросетей на скоростные накопители в качестве альтернативы дорогостоящей оперативной памяти.

Источник: iXBT