Исследователи давно стремятся создать ИИ-агентов, способных самостоятельно и непрерывно совершенствоваться. Недавнее исследование демонстрирует впечатляющий пример такой системы.
«Это важное достижение», — отметил Юрген Шмидхубер, специалист в области компьютерных наук из Университета науки и технологий имени короля Абдуллы (KAUST) в Саудовской Аравии, который не участвовал в исследовании. «Для многих результаты оказались неожиданными. Поскольку я занимаюсь этой темой почти 40 лет, для меня это было чуть менее удивительно».
В 2003 году Шмидхубер разработал системы, переписывающие собственный код только при наличии формального доказательства полезности изменений. Он назвал их машинами Гёделя в честь Курта Гёделя, известного своими работами о самоссылающихся системах. Однако, для сложных агентов такое доказательство не так просто получить.
Современные системы, описанные в новом исследовании, полагаются на эмпирические доказательства. В знак уважения они названы машинами Дарвина-Гёделя (ДГМ). ДГМ стартует с агента, который может работать с кодом, используя LLM для чтения и записи. Затем применяется эволюционный алгоритм для создания новых агентов. В каждом цикле ДГМ выбирает одного агента и поручает LLM предложить улучшение для его способности писать код. LLM, благодаря обучению на большом количестве человеческого кода, обладает интуицией для этого. Таким образом, создаётся управляемая эволюция, балансирующая между случайными изменениями и обоснованными улучшениями. ДГМ тестирует нового агента на эталонных задачах, проверяя его способности в программировании.
Иллюстрация: Dalle
Некоторые алгоритмы сохраняют только лучших в популяции, полагая, что прогресс постоянен. ДГМ же сохраняют всех, предполагая, что нереализованная инновация может стать ключевой в будущем. Это своего рода «открытое исследование», оставляющее все пути для прогресса (хотя ДГМ отдают предпочтение агентам с высшими оценками).
Учёные провели 80 итераций ДГМ с использованием эталонов SWE-bench и Polyglot. Результаты выросли с 20% до 50% и с 14% до 31% соответственно.
«Мы были удивлены, что агент смог создать такой сложный код», — отметила Дженни Чжан из Университета Британской Колумбии, ведущий автор статьи. «Он мог редактировать несколько файлов и формировать комплексные системы». Важно, что ДГМ превзошли альтернативные методы, которые улучшали агентов внешними средствами. С ДГМ улучшения накапливались по мере самосовершенствования. ДГМ превосходили метод, не учитывавший популяцию агентов. Хотя лучший агент SWE-bench не достиг уровня, сравнимого с человеческими разработками, он был создан полностью автоматически и, возможно, со временем может превзойти человеческие достижения.
Агенты могут стать непредсказуемыми или не следовать инструкциям. Поэтому Чжан и её команда добавили ограничения, удерживая ДГМ в безопасных средах без доступа к Интернету и ОС, проверяя все изменения. В будущем планируется мотивировать агентов к более понятной и слаженной работе.
Источник: iXBT
