Учёные Яндекса разработали и опубликовали в свободном доступе новые методы сжатия больших языковых моделей. По мнению специалистов Yandex Research, они позволят бизнесу сократить расходы на вычислительные ресурсы до восьми раз. Разработка будет полезна корпорациям, стартапам и исследователям, которые запускают нейросети на своём оборудовании.
Чтобы большая языковая модель отвечала качественно и быстро, требуется множество дорогостоящих мощных графических процессоров. Решение Яндекса позволяет уменьшить модель в несколько раз, сократить количество необходимых процессоров и запустить её на устройствах с меньшей вычислительной мощностью. А значит внедрение нейросетей и обслуживание оборудования станет дешевле для бизнеса.
Решение Яндекса включает в себя два инструмента. Первый позволяет получить уменьшенную до восьми раз нейросеть, которая быстрее работает и может быть запущена, например, на одном графическом процессоре вместо четырёх. Второй инструмент исправляет ошибки, которые возникают в процессе сжатия большой языковой модели.
Качество ответов оригинальной и сжатой версии нейросети сравнивали на англоязычных бенчмарках. Новый подход показал лучший результат среди всех существующих методов сжатия, отмечают в Яндексе. Метод, созданный в Yandex Research, сохраняет в среднем 95% качества ответов нейросети, а другие популярные инструменты сохраняют для тех же моделей лишь 59% — 90% качества. Код нового метода опубликован на GitHub, также можно скачать уже сжатые с его помощью популярные модели с открытым исходным кодом и обучающие материалы.
Colorful представила белую материнскую плату iGame B850I MINI W OC V14 с Wi-Fi 7 и двумя слотами M.2 PCIe 5.0 x4
Vivo S60t поступил в продажу: не самый мощный чип, зато аккумулятор на 7200 мА·ч, зарядка 90 Вт, перископная камера и защита IP69
GPD запустит на Indiegogo Win Mini Ultra — гибрид ноутбука и консоли с Intel Arc G3 Extreme за 1700 долларов
Кредиторы SpaceX попытались помешать Илону Маску отправить в космос заложенные чипы Nvidia
GTA VI разошлась тиражом более 32 млн копий за первые сутки и заработала почти 3,8 млрд долларов, установив рекорд индустрии развлечений
Seagate представила гибридный накопитель FireCuda Forge на 8 и 20 ТБ с поддержкой NVMe SSD
Meizu MIFI N1 поступил в продажу за $6: Wi-Fi 6, LTE до 150 Мбит/с, подключение до 16 устройств и аккумулятор на 3000 мАч
Microsoft внедрила новый способ работы RDMA: несколько ПК можно объединять по USB4 для запуска больших ИИ-моделей