Перед вами компиляция материалов, центральное место в которой занимает разбор проекта Autoresearch: Лаконичный «агентский цикл» Карпаты для автономной разработки LLM. Мы детально препарируем работу минималистичного ИИ-исследователя, представленного Андреем Карпаты в марте. Это знаковая веха в истории машинного обучения, демонстрирующая один из перспективных путей эволюции нейросетей. В качестве бонуса мы анализируем Python-код и инструкции, управляющие агентом. Контент будет полезен всем, кто уже перерос простые диалоги с ChatGPT и готов к созданию более сложных автономных систем.
Autoresearch: Минималистичный цикл агента Карпаты для автоматизации ML-экспериментов
Кертис Пайк, 9 марта 2026
Резюме
В начале марта 2026 года Андрей Карпаты представил autoresearch — намеренно упрощенный GitHub-репозиторий, который превращает привычную рутину обучения моделей в измеримый и полностью автоматизированный итерационный процесс. ИИ-агент самостоятельно редактирует скрипт обучения, запускает эксперимент с жестким лимитом по времени, фиксирует метрики и, в зависимости от результата, сохраняет или отклоняет внесенные правки, непрерывно повторяя этот цикл.
Инновация здесь не в «фантастическом самосовершенствовании». Autoresearch не переопределяет собственные цели и не ищет ресурсы извне. Вместо этого он упаковывает реальный процесс предобучения LLM в контролируемую среду с явным вектором оптимизации: ключевым показателем успеха служат валидационные биты на байт (val_bpb), а на каждый цикл обучения отводится строго 5 минут (без учета накладных расходов на запуск).
Механизм кодируется тремя ключевыми файлами:
-
program.md— стратегия и свод правил, заданные человеком. Документ определяет полномочия агента: что можно менять, как интерпретировать метрики и по каким критериям фиксировать успех. -
prepare.py— зона неизменности: загрузка данных, работа токенизатора, формирование валидационной выборки и функцияevaluate_bpb. Агенту закрыт доступ к редактированию этого компонента. -
train.py— изменяемый «геном» модели: здесь сосредоточены архитектура, параметры оптимизатора, гиперпараметры, размеры батчей и логика самого цикла обучения.
Авторская концепция эксперимента в README выглядит так:
-
вы направляете агента на изучение program.md;
-
агент вносит правки в train.py и инициирует 5-минутный прогон;
-
система оценивает прогресс и принимает решение о сохранении кода перед следующим витком.
Данный проект позиционируется как облегченная версия инструмента nanochat, адаптированная для работы на одной видеокарте.
Дискуссии и пул-реквесты в репозитории подтверждают жизнеспособность концепции: Карпаты делится результатами сессий на NVIDIA H100, где в ходе сотен автономных итераций val_bpb удалось снизить с 0.9979 до 0.9697. Каждый шаг сопровождается подробными логами, формируя прозрачный рабочий процесс.
Тем не менее, проект подчеркивает, что автономные циклы не являются панацеей. Предсказуемость агентов сильно зависит от используемых инструментов (например, Codex может игнорировать команду «работать без остановки»), результаты привязаны к производительности железа из-за временных лимитов, а безопасность остается критическим вопросом из-за риска инъекций промптов через вывод программы.
В сухом остатке, autoresearch — это актуальное переосмысление классических идей (поиска нейроархитектур и оптимизации гиперпараметров) для современных кодинг-агентов. Фундаментальный сдвиг здесь скорее в операционной логике: сформулируйте цели и ограничения, предоставьте агенту свободу итераций и сохраняйте только то, что ведет к измеримому прогрессу.
В основу статьи легли материалы репозитория autoresearch, файлы program.md, prepare.py, train.py, обсуждения в сообществе и публикации Андрея Карпаты, подтверждающие переносимость полученных результатов.
Что представляет собой autoresearch
Autoresearch — это экспериментальный фреймворк с минимальным порогом входа, спроектированный так, чтобы сторонний ИИ-агент мог проводить последовательные тесты в области машинного обучения практически без участия человека…
