ИИ создал 105 архитектур нейросетей: лучшая из них почти втрое превзошла Mamba2 по приросту эффективности

Комплекс ASI-Arch самостоятельно сконструировал 105 нейросетевых архитектур, продемонстрировавших превосходство в ходе строгих испытаний. Алгоритм реализовал 1773 итерации: формировал концептуальные правки, генерировал программный код, инициировал обучение и оценивал метрики для оптимизации последующих попыток. Наиболее удачная модификация подняла среднюю эффективность DeltaNet на 0,97 п. п. — это почти втрое превышает прогресс Mamba2, одной из мощнейших архитектур, созданных экспертами-людьми.

Платформа задействовала концепцию линейного внимания, оптимизирующую обработку последовательностей и сокращающую вычислительную нагрузку в сравнении со стандартным механизмом внимания в классических трансформерах. На начальной стадии конфигурации тестировались в уменьшенном масштабе для оперативной фильтрации неэффективных концептов. Затем жизнеспособные образцы валидировались на более массивных моделях и расширенном спектре бенчмарков. Исследовательский этап потребовал около 10 000 часов работы GPU, а общие затраты ресурсов на проект достигли приблизительно 20 000 машино-часов.

Из общего массива в 1773 вариации предварительный отбор преодолели 1350. Около 150 конфигураций перешли в следующий тур, где 105 решений доказали свою состоятельность при тестировании моделей с 340 млн параметров. Пятерку флагманских вариантов масштабировали до 1,3 млрд параметров и прогнали через 16 проверочных сценариев, включая 6 новых наборов данных, исключенных из первичных этапов. Преимущество разработанных структур сохранилось и в этих усложненных условиях.

В наиболее продуктивных структурах стабильно воспроизводился характерный паттерн: они интегрировали параллельные потоки данных и в автоматическом режиме определяли оптимальный маршрут обработки для конкретной информации. Такой подход обеспечил высокую гибкость при синтезе локального контекста, отдаленных зависимостей и альтернативных методов анализа последовательностей. Исследователи также убедились, что найденные принципы успешно переносятся на другие семейства моделей — Mamba2, GLA и HGRN2, — обеспечивая прирост эффективности за пределами изначальной экосистемы.

Кейс ASI-Arch подтверждает, что искусственный интеллект способен не просто оптимизировать веса готовых сетей, но и автономно проектировать их внутреннюю топологию, верифицировать гипотезы эмпирически и накапливать экспертизу для поиска наиболее эффективных решений. Тем не менее, текущий прорыв локализован в нише архитектур для работы с последовательностями, а превосходство фиксируется на конкретных бенчмарках, не претендуя на роль универсального мерила общего интеллекта.

Источник: iXBT