Алиبابа осуществила прорыв в анализе больших текстов: модель QwenLong-L1 может обрабатывать документы любой длины за считанные секунды

Группа компаний Alibaba Group анонсировала QwenLong-L1 – новую архитектуру, которая позволяет крупным языковым моделям (LLM) эффективно обрабатывать сверхдлинные текстовые данные. Это нововведение открывает новые перспективы для корпоративных приложений, нуждающихся в анализе обширных документов, таких как детальные отчёты компаний, многостраничные финансовые отчёты или сложные юридические контракты.

До недавнего времени обработка длинных текстов оставалась значительной проблемой для больших языковых моделей с рассуждениями (LRM). Несмотря на значительные улучшения в методах обучения с подкреплением (RL), их эффективность заметно снижалась при работе с текстами, превышающими 4000 токенов. Исследователи QwenLong-L1 указали в своей статье, что это ограничение мешает практическому использованию LRM в отраслях, требующих работы с обширной информационной базой, таких как научные исследования.

Основное преимущество QwenLong-L1 заключается в многоэтапном обучении. Процесс включает три ключевые стадии. Вначале модель проходит этап контролируемой тонкой настройки (SFT) на примерах с длинными контекстами, что закладывает основу для точного извлечения информации из значительных объёмов данных. Затем происходит поэтапное обучение с подкреплением (RL), где постепенно увеличивается длина входных документов, позволяя модели стабильно адаптироваться к более сложным задачам. Заключительный этап включает выборку сложных примеров из предыдущих стадий, стимулируя модель осваивать более сложные задачи и исследовать различные пути рассуждения.

Особенностью QwenLong-L1 является гибридная система вознаграждения. Она сочетает строгую проверку на основе правил, гарантируя точность, с оценкой другой LLM, которая сравнивает смысловую составляющую ответа с эталонной. Это позволяет более гибко обрабатывать различные формы корректных ответов, характерные для длинных и сложных документов.

Тестирование QwenLong-L1 на семи стандартных наборах данных для задач вопрос-ответ на основе документов (DocQA) показало впечатляющие результаты. Модель QWENLONG-L1-32B достигла производительности, сопоставимой с Anthropic’s Claude-3.7 Sonnet Thinking, и превзошла модели OpenAI o3-mini и Qwen3-235B-A22B. Упрощённая модель QWENLONG-L1-14B превзошла Google Gemini 2.0 Flash Thinking и Qwen3-32B.

Примечательно, что благодаря QwenLong-L1 у модели появились специализированные навыки рассуждения в длинных контекстах: улучшенное «заземление» ответов, установление промежуточных целей, исправление ошибок и верификация ответов. Alibaba выпустила код QwenLong-L1 и модели с обученными весами, что открывает широкие возможности её использования в различных областях, включая право, финансы и обслуживание.

Источник: iXBT