Стартап Subquadratic представил архитектуру ИИ без механизмов трансформеров, радикально снижающую затраты на вычисления

Майамский стартап Subquadratic официально вышел из тени, анонсировав решение одной из критических проблем современных нейросетей — квадратичной вычислительной сложности, присущей классическим трансформерам.

Компания представила архитектуру SubQ, которая, по заверениям разработчиков, позволяет радикально масштабировать контекстное окно при существенном снижении энергозатрат и требований к «железу». Это открывает возможности для обработки колоссальных массивов данных — от внушительных библиотек программного кода до сотен документов за одну итерацию.

Изначально скудная доказательная база, ограниченная лишь внутренними замерами, спровоцировала волну критики среди специалистов. Многие эксперты провели параллели с излишне амбициозными стартапами, которые подкрепляют свои претензии на технологическое лидерство лишь маркетинговыми лозунгами, не предоставляя доступа к модели для объективного анализа.

Ситуация несколько изменилась после публикации отчета независимой компании Appen, специализирующейся на тестировании и разметке ИИ-решений. Согласно этим данным, SubQ демонстрирует выдающуюся производительность и конкурентоспособные показатели в задачах программирования.

Технологическое преимущество SubQ базируется на отказе от стандартного плотного механизма внимания (dense attention) в пользу разреженного (sparse attention). В архитектурах типа Transformer каждый токен сопоставляется с каждым, из-за чего вычислительная нагрузка растет экспоненциально при удлинении контекста. Subquadratic же оптимизирует процесс, фильтруя ключевые связи и тем самым снимая «вычислительный барьер».

Заявленные характеристики впечатляют: SubQ способен удерживать в памяти до 12 млн токенов, что десятикратно превышает возможности актуальных рыночных аналогов. Инженеры компании утверждают, что это позволяет выполнять поиск и извлечение данных из огромных архивов в разы быстрее, чем при использовании традиционных методов.

Согласно результатам Appen, модель значительно превосходит существующие решения на базе FlashAttention по скорости и уверенно справляется с бенчмарком LiveCodeBench. Тем не менее, независимые аналитики напоминают: лабораторные тесты не всегда коррелируют с эффективностью модели в реальных бизнес-задачах. Кроме того, сохраняются вопросы к архитектурной новизне, так как в основе SubQ лежат доработанные модели семейства Qwen, что ставит под сомнение статус «революционной замены» трансформеров.

На данный момент доступ к технологии остается привилегией узкого круга корпоративных партнеров, что компания оправдывает ранним этапом разработки. Поскольку полномасштабная внешняя валидация все еще невозможна, профессиональное сообщество продолжает относиться к громким заявлениям Subquadratic со здоровой долей скепсиса.

Источник: iXBT