Специалисты компании Microsoft представили наибольшую на текущий момент одноразрядную модель искусственного интеллекта. Эта инновация, названная BitNet b1.58 2B4T и содержащая 2 миллиарда параметров, доступна по условиям открытой лицензии MIT.
Модели Bitnet были разработаны для оптимальной работы на «лёгком» оборудовании. В традиционных моделях веса, отвечающие за внутреннюю структуру, зачастую квантуются для повышения эффективной работы на разнообразной технике. Квантование позволяет снизить количество битов для представления весов, что делает возможным использование моделей на чипах с меньшим объёмом памяти и большей скоростью.
Особенность Bitnet заключается в квантовании весов лишь до трёх значений: -1, 0 и 1. Этот подход позволяет значительно повысить эффективность использования памяти и вычислительных ресурсов по сравнению с большинством современных моделей.
По информации от команды Microsoft, BitNet b1.58 2B4T является первой моделью bitnet с 2 миллиардами параметров. Она обучена на датасете размером 4 триллиона токенов, что примерно соответствует 33 миллионам книг, и демонстрирует более высокую производительность по сравнению с традиционными моделями аналогичных масштабов.
В процессе тестирования BitNet b1.58 2B4T доказала свою конкурентоспособность, превосходя Meta* Llama 3.2 1B, Google Gemma 3 1B и Alibaba Qwen 2.5 1.5B в тестах, таких как GSM8K (математические задачи начального уровня) и PIQA (тест на понимание физических закономерностей). Более того, BitNet b1.58 2B4T показала более высокую скорость обработки, в некоторых случаях на порядок быстрее аналогов, при этом потребляя значительно меньше памяти.
Тем не менее, для достижения заявленных показателей производительности требуется использование эксклюзивного фреймворка bitnet.cpp, разработанного Microsoft, что в настоящее время совместимо лишь с ограниченным ассортиментом аппаратного обеспечения. На данный момент поддержка графических процессоров (GPU), доминирующих в AI-инфраструктуре, отсутствует.
* Компания Meta (Facebook и Instagram) в России признана экстремистской и запрещена.
Источник: iXBT
