Microsoft и Чикагский университет разработали новый математический язык для улучшения эффективности LLM
Качество генерации против задержки предварительного заполнения для моделей Llama-3-8B, Mistrallite, Llama-3-70B и MAmmoTH2. Источник: arXiv (2024). DOI: 10.48550/arxiv.2411.02820
Группа инженеров и специалистов по искусственному интеллекту из Microsoft, объединившаяся с коллегами из Чикагского университета, создала новый язык, который значительно улучшает взаимодействие между крупными языковыми моделями (LLM). В своем исследовании, опубликованном на сайте препринтов arXiv, они представили DroidSpeak — язык, основанный на математических принципах, формирующих фундамент LLM, позволяющий моделям общаться более эффективно, чем при использовании английского языка.
По мнению исследователей, создание специализированных моделей ИИ, которые эффективно решают конкретные задачи, представляет собой перспективное направление в развитии более мощных систем ИИ. Однако для взаимодействия между этими моделями чаще всего используется английский язык, который не всегда является наиболее действенным средством связи. DroidSpeak стремится решить эту проблему, предоставляя LLM собственный язык общения.
DroidSpeak базируется на концепции, что LLM способны взаимодействовать, используя математический язык как основу своей работы. Это позволяет им обмениваться исключительно сгенерированными данными, обходясь без полного обмена информацией на каждом этапе обработки. Подобный подход нивелирует узкие места в процессе коммуникации LLM, возникающие при обмене информацией о каждом шаге, что в противном случае требует обработки огромного объема данных на каждом этапе.
В испытаниях DroidSpeak продемонстрировал значительное ускорение обмена между двумя испытательными LLM — скоростной прирост составил 2,78 раза в сравнении с использованием английского языка. Тем не менее, для достижения оптимальной работы DroidSpeak было выявлено, что необходимо использование одной и той же модели LLM на обоих концах общения. Это обстоятельство оставляет возможности для дальнейшего усовершенствования языка.
Команда исследователей предполагает, что DroidSpeak, как и человеческие языки, будет со временем эволюционировать, становясь все более надежным и эффективным. Развитие DroidSpeak представляет собой важный шаг в направлении создания более мощных и универсальных систем ИИ, способных решать сложные задачи за счет взаимодействия специализированных моделей.
Источник: iXBT
«Почта России» внедрила оплату услуг цифровым рублём по QR-коду
Oppo Watch 5 представлены с прямоугольным AMOLED-экраном, GPS и NFC
Новый рекорд автономности Honor: сертифицирован аккумулятор на 13 300 мАч для 7-дюймового устройства
Пенсионный фонд пожарных и полицейских подал иск против Intel, акционером которой он является
Asus представила робота Gallop для предприятий электронной промышленности
Claude у нас дома: как я создал быструю и недорогую локальную LLM
На всех смарт-телевизорах в России теперь обязателен RuStore
Россия направит еще 3 млрд рублей на три Ил-114-300 для замены устаревших Ан-24