Сжатие, красота и Шмидхубер: способны ли нейросети придумывать новое

В ноябре 2025 года Юрген Шмидхубер, которого значительная часть индустрии считает подлинным родоначальником современного ИИ, ответил Илону Маску ссылкой на собственную работу семнадцатилетней давности. Смысл реплики таков: хотите разобраться, почему нынешний ИИ неспособен к настоящему творчеству, — прочтите мою статью 2008 года. Под катом разберёмся, что это за теория, почему её автор убеждён, что она объясняет буквально всё, от шуток до закона всемирного тяготения, и какие выводы отсюда следуют для LLM.

Скандальный отец ИИ

Если вы имели дело с нейросетями до эпохи трансформеров, то наверняка пользовались наработками немецко-швейцарского учёного Юргена Шмидхубера. В 1997 году вместе со своим аспирантом Зеппом Хохрайтером он представил LSTM — архитектуру рекуррентных сетей, которая около пятнадцати лет оставалась стандартом обработки последовательностей.

Распознавание речи на смартфонах в первой половине 2010-х, машинный перевод Google до перехода на трансформеры — за всем этим стояли LSTM и их наследники. Сегодня Шмидхубер возглавляет лабораторию IDSIA в швейцарском Лугано и с удовольствием именует себя отцом ИИ.

Но у нашего героя есть и другая грань: десятилетиями он ведёт публичную борьбу за приоритет с триадой Хинтон — Бенджио — Лекун, получившей премию Тьюринга в 2018 году. Шмидхубер выпустил критический разбор их заслуг более чем с двумястами ссылок, где утверждает, что лауреаты систематически обходили вниманием первоисточники, в том числе его собственные труды. Претензии охватывают почти всё — от бэкпропагации до GAN, которые он трактует как частный случай своей «искусственной любознательности». Его приоритет во многом действительно подтверждается, но избранная манера подачи сделала самого учёного фигурой, мягко говоря, неоднозначной.

Без этого контекста ноябрьский твит похож на провокацию. Между тем Шмидхубер уже тридцать пять лет повторяет: творчество и любознательность — не дар свыше, а вычислимый процесс, поддающийся формализации. И формализовал он его тогда, когда будущие звёзды OpenAI ещё учились в школе.

Простой принцип, объясняющий ВСЁ

Твит Шмидхубера стал реакцией на слова Илона Маска о том, что ИИ — это сжатие и корреляция. Маск, в свою очередь, отвечал Франсуа Шолле, автору Keras и бенчмарка ARC, который написал:

«Все великие научные открытия по своей сути являются сжатием информации. Они берут сложную совокупность наблюдений и говорят: “Все это подчиняется одному простому правилу”».

Под сжатием здесь, по-видимому, понимается поиск короткой программы, объясняющей данные, а под корреляцией — выявление устойчивых связей между наблюдениями.

Сам Шолле поясняет:

«…вселенная — это прекрасно согласованная система правил. Интеллект — это эффективность, с которой вы можете перейти от результатов применения этих правил (того, что вы можете наблюдать) к самим правилам».

Речь, по сути, идёт об аппроксимации — математическом методе, при котором сложные, неизвестные или «зашумлённые» зависимости между переменными заменяются более простыми моделями, достаточно точно описывающими исходные данные. Иными словами, правило всегда символично, а если это не так, значит, на самом деле вы ничего не объяснили — убеждён Шолле. Чтобы понять, что именно Шмидхубер хотел донести до Маска и Шолле, придётся обратиться к его работе.

Как должен действовать агент по Шмидхуберу

Статья Driven by Compression Progress вышла 23 декабря 2008 года. Её полное название звучит так: «Простой принцип, объясняющий важнейшие аспекты субъективной красоты, новизны, удивления, интересности, внимания, любознательности, креативности, искусства, науки, музыки и шуток». Уже на этом месте ясно, что скромность никогда не относилась к сильным сторонам автора.

Весь труд держится на одной мысли: нам интересно то, что мы сегодня понимаем чуть лучше, чем вчера. Шмидхубер формализует её через наличие у наблюдателя некоего компрессора, сжимающего всю историю его наблюдений. Чем эффективнее идёт сжатие, тем лучше наблюдатель понимает мир и предсказывает его поведение. Скажем, громоздкий массив математических знаний можно уместить в компактную формулу суммы кубов.

Ключевые идеи теории воплощены в наборе алгоритмических принципов, призванных стимулировать развитие интеллектуальных агентов, подобных человеку, через творчество.

• Первое — храни всё. Вся история действий и наблюдений бесценна, ведь это единственное, что агент вообще знает о мире. Шмидхубер даже прикидывает, что человеческому мозгу для хранения наблюдений хватает ёмкости с большим запасом, если считать по синапсам.

• Второе — повышай субъективную сжимаемость. Каждая найденная закономерность экономит биты, а сжатая версия данных, по сути, и есть их объяснение.

• Третье — пусть внутренняя награда за любопытство отражает прогресс в сжатии. Агент получает вознаграждение не за результат и не за накопленные данные, а за продвижение в сжатии воспринимаемой красоты — за каждый сэкономленный бит. Посмотрел на мир и ничего нового не понял — награды нет; посмотрел и обнаружил закономерность — получи внутреннюю конфетку.

• Четвёртое — максимизируй награду за внутреннее любопытство. Иначе говоря, агент сам решает, что считать красивым, куда смотреть и к чему прикасаться, направляясь туда, где с наибольшей вероятностью удастся что-то понять.

Эти принципы описывают цели любопытной, или творческой, системы, но не способы их достижения через выбор конкретного адаптивного компрессора либо предиктора и определённого алгоритма обучения с подкреплением. Сложновато, согласен, но дальше станет яснее.

Что агент должен считать красивым

Красоту данных Шмидхубер определяет как их сжимаемость для конкретного наблюдателя в данный момент, а интересность — как производную этой красоты по времени, то есть крутизну кривой обучения. Другими словами, красивое может оказаться скучным, если вы уже всё выучили, а интересно как раз то, что становится понятнее.

Допустим, компрессор, повидавший множество лиц, строит усреднённый прототип и кодирует новое лицо просто как отклонение от него. Лицо, близкое к прототипу, закодировать дёшево, поэтому оно субъективно красивее. Отсюда же берут начало симметрия и простые пропорции — это буквально те регулярности, которые компрессор любит. Автор выдвигает и ещё одно предположение: людям нравятся лица, похожие на их собственные, потому что своё лицо они каждый день видят в зеркале.

Самый провокационный фрагмент автор подаёт почти вскользь, уместив его в полстраницы. Он указывает, что в наблюдениях агента всегда присутствует одно и то же — сам агент. Поэтому эффективному компрессору выгодно завести внутренний символ «я» — короткий код для самого себя. Всякий раз, когда этот символ задействован при обработке новых данных, агента можно считать самосознающим.

Согласно работе, всё сознание — это оптимизация хранения. Шмидхубер пишет, что его объяснение проще конкурирующих теорий и что придавать этому понятию особый сакральный смысл он не намерен.

Шутки, наука и музыка

А теперь самое любопытное: как Шмидхубер объясняет явления, которые принято называть иными словами.

Шутка работает потому, что панчлайн вынуждает перекодировать сетап. Сначала мозг строит одну модель ситуации и тратит на неё определённое число бит, а затем финальная фраза показывает, что всё можно было записать иначе и гораздо короче. Скачок сжатия порождает внутреннюю награду — смех. Плоская шутка — та, где панчлайн предсказуем и скачка нет.

Наука по Шмидхуберу устроена по той же механике. Яблоки падают, планеты движутся по небу, приливы приходят и уходят. Годы наблюдений — а потом Ньютон открывает закон тяготения, и все эти наблюдения внезапно умещаются в одну формулу. Это и есть открытие.

Музыка и искусство тоже вписываются в схему. Слишком предсказуемая мелодия наскучивает, а интересно то, что балансирует на грани: либо в ней есть закономерность, которую слушатель ещё не до конца разгадал, либо нечто запредельное, завораживающее.

Всё в жизни агента — код

От армии философов, рассуждающих о сознании, Шмидхубера отличает то, что его теория с самого начала была инженерной и подкреплённой конкретными реализациями. Архитектура творческого агента у него состоит из двух модулей:

• первый — предиктор, или компрессор, который учится предсказывать историю наблюдений;

• второй — контроллер, обучающийся с подкреплением и выбирающий действия.

Изюминка в том, что контроллер получает внутреннюю награду не за результат во внешнем мире, а за прогресс первого модуля — за то, что компрессор стал сжимать историю лучше, чем вчера. Следуя собственному чувству прекрасного, агент ищет в мире данные, которые пока не умеет сжимать, но в принципе способен этому научиться, и придумывает эксперименты, чтобы их получить.

Первые подобные системы Шмидхубер построил ещё в 1990 году, с наградой за ошибку предсказания. Затем, в 1991 году, появилась версия с наградой за уменьшение этой ошибки, в 1995-м — через энтропию, в 1997-м — через игру с нулевой суммой, где два модуля стараются удивить друг друга. Именно эту схему он позднее приводил в спорах как предтечу GAN.

В 2000-е его принципы дошли и до робототехники. В европейском проекте IM-CLeVeR исследователи экспериментировали с iCub — роботом, который должен был осваивать новые навыки за счёт внутренней мотивации и любопытства. Робот действительно научился самостоятельно исследовать пространство движений, находя интересные ему объекты и ограничения, однако одной лишь такой мотивации для полноценного открытого обучения оказалось недостаточно.

В следующем проекте, GOAL-Robots, к любопытству пришлось добавить ещё один механизм — самостоятельно формируемые цели, подсказывающие агенту, что именно стоит исследовать дальше.

Так может ли LLM придумать новое

По мнению Шмидхубера, современные модели некреативны, потому что в них отсутствует его механизм 2008 года. В целом он прав: нынешние нейросети и в самом деле являются компрессорами.

Сжатие и генерация — две формулировки одной и той же задачи: мы запускаем сжатие (получаем короткую формулу) и уже по ней создаём токен. Это показали инженеры DeepMind, когда подключили к языковым моделям арифметическое кодирование и стали сжимать с их помощью данные. Модель Chinchilla с 70 млрд параметров уменьшила гигабайт текста до 8,7% от исходного размера, тогда как Gzip смог добиться лишь 32%. На изображениях и аудио она тоже обошла специализированные компрессоры — то есть механизм создания токенов опирается на сжатие.

В работе 2024 года специалисты продемонстрировали, что «интеллект» модели по бенчмаркам почти линейно коррелирует с эффективностью её сжатия. А Суцкевер ещё в 2023 году говорил, что хорошее обучение без учителя — это, по сути, хорошее сжатие.

Так что Маск прав: «ИИ — это сжатие и корреляция».

Получается, аргумент Шмидхубера весьма убедителен: в LLM нет внутренней награды за прогресс в сжатии. Модель не размышляет «что бы такое исследовать, чтобы чуть лучше понять мир», — она предсказывает следующий токен. Любопытства как движущей силы там тоже нет: перед нами компрессор без награды за сжатие, а стоит эту награду добавить — и запускается творческий процесс.

Схожей точки зрения придерживаются авторы академического обзора On the Creativity of Large Language Models. По их мнению, у LLM нет ни намерения творить, ни петли самопроверки, и, согласно классической психологии творчества, модель застревает на стадии имитации, не доходя до исследования и осознанного отхода от шаблона.

Свежее исследование в PNAS Nexus отмечает, что ответы коммерческих моделей на творческие задания похожи друг на друга заметно сильнее, чем ответы людей. То есть как популяция LLM менее разнообразны и в этом смысле менее креативны.

При этом весь спор упирается в определение слова «творить» — в то, насколько глубоко его следует понимать. По определению, творчество — это результат того, как творец пропускает через себя входящую информацию и переосмысливает её.

Лев Толстой в трактате «Что такое искусство?» описал его как заражение чувством: человек пережил нечто, нашёл для этого внешние знаки (звук, линию, слово, жест) и передал своё переживание другому.

Если творчество — это внутренний мотив, новизна и ценность, то у модели первое сильно упрощено (внутренний мотив сводится к стремлению выполнить задачу), а два других вызывают споры (о чём говорит обилие нейрослопа). Однако мотив есть у пользователя, который пишет промпт нейросети, выступающей в роли зеркала. Она усиливает как сильные стороны творца, так и его «тараканов».

Кроме того, творчество в классическом понимании стоит отделять от креативности. Этот популярный в наши дни термин подразумевает способность комбинировать имеющиеся объекты и получать таким образом нечто новое. С этим нейросети справляются превосходно, а споры о вытеснении творческих задач обычно связаны именно с подменой этих двух понятий.

Что в итоге

Если креатив — это генерация данных, дающих скачок сжатия, то генеративные модели формально уже креативны дальше некуда. Midjourney создаёт изображения, в которых зритель видит неожиданный порядок, знакомые формы или новое сочетание смыслов. В результате и возникает тот самый компрессионный прогресс…

Тем не менее в любой нейросети цель задаёт человек, он же формулирует запрос и оценивает результат. То есть компрессионный прогресс вызывает пользователь с помощью Midjourney, а творческий акт принадлежит всей связке оператора и модели. Даже если изображение получилось неожиданным, сама система не испытывала интереса к задаче и не принимала решения её исследовать.

Вместе с тем, если модель способна находить закономерности и создавать объекты, воспринимаемые как красивые или интересные, можно говорить о воспроизведении части этого механизма. В человеческой психике контур замыкается изнутри: интерес направляет поиск, открытие приносит внутреннюю награду и усиливает интерес. У нейросети источник цели и оценка результата пока вынесены наружу — к оператору и системе вознаграждения.

Границу «не умеет познавать» размывает то, что агентные системы, которые пишут код, запускают его, анализируют ошибку и вносят правки, — это, по сути, уже контроллер, взаимодействующий с внешней средой. Так что о наличии у нейросетей интереса и понимания красоты мы уже можем говорить.

Это ещё не означает, что у них есть самосознание: обучение с подкреплением позволяет закреплять успешные стратегии, но критерий успеха по-прежнему задаёт человек. Сам механизм RL не порождает любопытства и не поощряет поиск новых закономерностей, если такое поведение заранее не заложено в функцию награды.

До полной схемы Шмидхубера с непрерывным самообучением пока далеко, однако вектор уже совпадает с его принципами тридцатилетней давности. Остаётся дождаться, когда модели захотят сжимать лучше.

А как считаете вы: способен ли ИИ на творчество? И где проходит грань между тем, когда человек способен творить, а когда нет?

 

Источник