Нейросеть Google Gemma 3 с 270 миллионами параметров запустили на лазерном принтере с 14 МБ памяти

Прокомментировать Просмотры: 3

Источник изображения: ИИ Gemini

Языковую модель Google Gemma 3 270M запустили непосредственно на обычном офисном принтере Ricoh. Эксперимент провёл сотрудник Google Омар Сансевьеро, воспользовавшись Carbon — компактным движком для работы с нейросетями. При этом менять прошивку принтера или подключать дополнительные вычислительные платы не потребовалось: модель работала внутри устройства через встроенный интерпретатор PostScript Level 3, который используется для обработки заданий на печать.

Чтобы уложиться в ограниченные ресурсы принтера, разработчики применили динамическую загрузку слоёв нейросети, последовательно размещая их в памяти. Скорость генерации достигла 61,3 токена в секунду. Для проверки модели предложили продолжить фразу «Read the fine», и принтер напечатал ответ «Read the fine print» («Читайте мелкий шрифт»). Обработка исходного запроса, однако, заняла около 184 секунд. Тем не менее эксперимент продемонстрировал, что даже обычная офисная техника способна запускать локальные ИИ-модели без специального оборудования.

 

Источник: iXBT

Похожие статьи

Поиск по играм, новостям и статьям…

Введите не менее двух символов

Введите не менее двух символов