Открытые модели с функцией «саморефлексии» от стартапа Cogito превзошли LLaMA и DeepSeek

Стартап Deep Cogito анонсировал семейство языковых моделей с открытым кодом под названием Cogito v1. Данный проект, разработанный на основе архитектуры Llama 3.2 от Meta*, объединяет быструю возможность реагирования с функции «саморефлексии», то есть способностью пересматривать и улучшать собственные выводы. Это аналогично моделям серии «o» от OpenAI и DeepSeek R1. Все изделия компании доступны под открытой лицензией Llama, обеспечивающей коммерческое применение до 700 миллионов пользователей ежемесячно.

Генеральный директор и основатель Deep Cogito, Дришан Арора, принимавший участие в разработке языковых моделей для генеративного поиска в Google, заявил на платформе X: «Наши модели оказались лидерами в своём классе среди открытых решений, включая LLaMA, DeepSeek и Qwen». Семейство Cogito включает пять модификаций: 3 миллиарда, 8 миллиардов, 14 миллиардов, 32 миллиарда и 70 миллиардов параметров, которые доступны через платформы Hugging Face, Ollama, а также через API Fireworks и Together AI. В ближайшее время планируется выпуск моделей с числом параметров до 671 миллиарда.

Главное отличие подхода Deep Cogito заключается в методе «итерированной дистилляции и усиления» (IDA), который заменяет традиционное обучение с обратной связью от людей (RLHF). Этот алгоритм, вдохновлённый стратегией самообучения AlphaGo, позволяет моделям генерировать более качественные решения и затем интегрировать эти паттерны в свои параметры, тем самым создавая цикл саморазвития.

Тестирования подтвердили заявленные преимущества. Cogito 3B в стандартном режиме превышает LLaMA 3.2 3B на 6,7% в тестировании MMLU (Massive Multitask Language Understanding), который измеряет способности моделей понимать информацию из 57 дисциплин, включая естественные науки, гуманитарные предметы, математику, медицину, право и профессиональные навыки (65,4% по сравнению с 58,7%), и достигает 72,6% в режиме рассуждений. Cogito 8B демонстрирует 80,5% на MMLU, опережая LLaMA 3.1 8B на 12,8 пункта. Флагманская модель Cogito 70B (один из вариантов) с результатом 91,7% на MMLU превосходит LLaMA 3.3 70B на 6,4%, а в многоязычных тестах (MGSM) достигла 92,7% против 89,0% у DeepSeek R1. Однако модель демонстрирует некоторые недостатки в решении математических задач (MATH): 83,3% против 89,0% у конкурента, что разработчики объясняют балансировкой при оптимизации.

Особенный акцент сделан на функцию поддержания вызовов инструментов (tool-calling) для интеграции с API и агентскими системами. Cogito 3B решает четыре типа задач (включая параллельные и множественные) с точностью до 92,8%, в то время как LLaMA 3.2 3B такую функцию не поддерживает. Точность Cogito 8B составляет 89% против 35-54% у аналогичной модели Meta.

В будущем планируется внедрение моделей с архитектурой mixture-of-experts (109B, 400B, 671B параметров) и регулярные обновления существующих контрольных точек. Партнёрами проекта стали ключевые игроки экосистемы, такие как Hugging Face, RunPod и Fireworks AI.

* Компания Meta (которая владеет Facebook и Instagram) в России признана экстремистской и запрещена

 

Источник: iXBT