Специалистам удалось осуществить беспрецедентный запуск масштабной языковой модели с 400 миллиардами параметров на iPhone 17 Pro. Это достижение кажется невероятным, учитывая технические требования: обычно даже облегченные версии подобных нейросетей запрашивают около 200 ГБ оперативной памяти, тогда как актуальный флагман Apple располагает лишь 12 ГБ LPDDR5X.
Визуализация: Apple
Реализация проекта стала возможной благодаря открытому решению Flash-MoE. В ходе тестов скорость генерации оказалась крайне невысокой — порядка 0,6 токена в секунду (около одного слова каждые две секунды), что делает повседневное использование системы на данном этапе невозможным. Технологический секрет кроется в отказе от полной загрузки модели в ОЗУ: Flash-MoE настраивает прямой поток данных из постоянного хранилища в графический процессор. Кроме того, сама архитектура MoE (Mixture of Experts) позволяет обращаться лишь к необходимым сегментам параметров при формировании каждого слова, не задействуя весь массив из 400 млрд весов одновременно.
Этот опыт подтверждает, что даже сверхмассивные ИИ-модели теоретически могут функционировать локально на мобильных устройствах при условии глубокой оптимизации и нестандартных схем распределения ресурсов. Автономный запуск обеспечивает важные преимущества: абсолютную приватность данных, независимость от интернет-соединения и обработку запросов непосредственно силами смартфона.
Впрочем, текущие результаты носят скорее концептуальный характер. Помимо слабой производительности, подобный режим работы создает запредельную нагрузку на накопитель, графическую подсистему и аккумулятор устройства.
Источник: iXBT
