Microsoft и Чикагский университет разработали новый математический язык для улучшения эффективности LLM

Группа инженеров и специалистов по искусственному интеллекту из Microsoft, объединившаяся с коллегами из Чикагского университета, создала новый язык, который значительно улучшает взаимодействие между крупными языковыми моделями (LLM). В своем исследовании, опубликованном на сайте препринтов arXiv, они представили DroidSpeak — язык, основанный на математических принципах, формирующих фундамент LLM, позволяющий моделям общаться более эффективно, чем при использовании английского языка.

По мнению исследователей, создание специализированных моделей ИИ, которые эффективно решают конкретные задачи, представляет собой перспективное направление в развитии более мощных систем ИИ. Однако для взаимодействия между этими моделями чаще всего используется английский язык, который не всегда является наиболее действенным средством связи. DroidSpeak стремится решить эту проблему, предоставляя LLM собственный язык общения.


Microsoft и Чикагский университет разработали новый математический язык для улучшения эффективности LLM
Качество генерации против задержки предварительного заполнения для моделей Llama-3-8B, Mistrallite, Llama-3-70B и MAmmoTH2. Источник: arXiv (2024). DOI: 10.48550/arxiv.2411.02820

DroidSpeak базируется на концепции, что LLM способны взаимодействовать, используя математический язык как основу своей работы. Это позволяет им обмениваться исключительно сгенерированными данными, обходясь без полного обмена информацией на каждом этапе обработки. Подобный подход нивелирует узкие места в процессе коммуникации LLM, возникающие при обмене информацией о каждом шаге, что в противном случае требует обработки огромного объема данных на каждом этапе.

В испытаниях DroidSpeak продемонстрировал значительное ускорение обмена между двумя испытательными LLM — скоростной прирост составил 2,78 раза в сравнении с использованием английского языка. Тем не менее, для достижения оптимальной работы DroidSpeak было выявлено, что необходимо использование одной и той же модели LLM на обоих концах общения. Это обстоятельство оставляет возможности для дальнейшего усовершенствования языка.

Команда исследователей предполагает, что DroidSpeak, как и человеческие языки, будет со временем эволюционировать, становясь все более надежным и эффективным. Развитие DroidSpeak представляет собой важный шаг в направлении создания более мощных и универсальных систем ИИ, способных решать сложные задачи за счет взаимодействия специализированных моделей.

 

Источник: iXBT

Читайте также