Резервуарные вычисления: как работает нейросеть, которую почти не учат

В сфере машинного обучения действует негласное правило: хотите эффективности от нейросети — настраивайте каждый вес. Делайте это итеративно, задействуя обратное распространение ошибки и проходя сквозь тысячи шагов градиентного спуска. Однако концепция резервуарных вычислений переворачивает этот подход с ног на голову. Львиная доля весовых коэффициентов здесь формируется случайным образом и остается неизменной на протяжении всего цикла. Обучению подвергается исключительно финальный выходной слой.

И, как ни парадоксально, это работает.

Но прежде чем углубляться в детали, стоит разобрать саму проблему — иначе природа столь радикального компромисса останется за кадром.

Рекуррентные нейронные сети (RNN) создавались под работу с последовательными данными: речевыми фрагментами, текстовыми массивами, временными рядами. В отличие от классических архитектур, они обладают внутренней памятью. Предсказание на шаге t формируется с оглядкой не только на текущий входной сигнал, но и на всю предшествующую историю. Это наделяет их огромной выразительной силой, но одновременно превращает обучение в настоящий кошмар.

Классический метод обучения RNN — BPTT (обратное распространение ошибки во времени) — разворачивает сеть по оси шагов. Алгоритм выстраивает огромный граф вычислений для всех T шагов и исчисляет градиенты. На каждом отдельном этапе сигнал проходит сквозь матрицу весов W. Если многократно перемножать W саму на себя, результат при собственных значениях менее единицы будет экспоненциально стремиться к нулю, а при значениях больше единицы — улетать в бесконечность.

Первое явление называют затуханием градиента, второе — его взрывом. И это ключевой нюанс.

Обычные RNN с трудом удерживают в памяти события из отдаленного прошлого. Градиент от шага t=1 до шага t=100 угасает настолько сильно, что сеть его попросту не фиксирует. Архитектура LSTM частично решает этот недуг за счет вентильных механизмов (гейтов), регулирующих потоки данных. Тем не менее, LSTM сложнее, функционирует медленнее и проблему не искореняет, а лишь сглаживает.

Резервуарный подход предлагает радикальный выход. Если не пропускать градиент сквозь рекуррентные связи, то и затухать ему будет негде. Все предельно просто.

Архитектура и математика

Условно модель можно разделить на три ключевых компонента.

Входной слой — неизменяемая матрица W_in со случайными коэффициентами. Она принимает входящие данные u(t) и транслирует их внутрь резервуара.

Резервуар — массивная, разреженная рекуррентная сеть на N нейронах с матрицей весов W. Она также генерируется случайно, фиксируется раз и навсегда и никогда не обучается.

Считывающий слой — единственный компонент, подвергающийся обучению. Это линейный слой с весовыми коэффициентами W_out.

Эволюция состояния резервуара описывается следующим выражением:

x(t) = tanh(W · x(t-1) + W_in · u(t))

Итоговый прогноз:

y(t) = W_out · x(t)

Процесс обучения сводится к вычислению W_out посредством гребневой регрессии (Ridge Regression):

W_out = Y · X^T · (X · X^T + λI)^-1

Никакого обратного распространения ошибки здесь нет. Достаточно собрать промежуточные состояния резервуара за все шаги в единую матрицу X, взять целевые метки Y и решить матричное уравнение. На этом всё. Там, где сети LSTM требуют сотен итераций градиентного спуска, ESN (сеть эхо-состояний — яркий представитель резервуарных вычислений) обучается за счет решения одной формулы, демонстрируя колоссальное преимущество в скорости.

В этом и заключается глубокий смысл концепции: саму сеть обучать не требуется.

Свойство эхо-состояния и спектральный радиус

Для корректной работы резервуара необходимо соблюдение важнейшего условия — свойства эхо-состояния (Echo State Property, ESP). Идея в том, что текущее состояние резервуара в момент t должно однозначно определяться предысторией входных сигналов, а не тем, в каких стартовых условиях находилась сеть. Любое «эхо» прошлых событий обязано постепенно затухать.

За этот процесс отвечает спектральный радиус матрицы W, представляющий собой ее максимальное собственное значение ρ(W). Если ρ(W) строго меньше единицы, собственные векторы матрицы при многократном умножении стремятся к нулю, влияние начального состояния стирается, и условие ESP выполняется.

Спектральный радиус выступает главным гиперпараметром. Чем ближе ρ к единице, тем протяженнее память системы и сложнее ее внутренняя динамика. При меньших значениях сеть быстрее «забывает» прошлое. На практике параметр ρ обычно настраивают в диапазоне от 0.8 до 0.99 под конкретные требования задачи.

Стоит оговориться: условие ρ(W) < 1 является достаточным, но не обязательным. Существуют конфигурации с ρ ≥ 1, которые при определенных типах входных сигналов все равно сохраняют эхо-свойства. Строгий математический анализ требует проверки системы на контрактивность. Тем не менее, правило ρ < 1 служит надежным и общепринятым ориентиром.

Почему случайные веса вообще жизнеспособны?

Возникает резонный вопрос: зачем городить огород со случайным резервуаром, если можно задействовать полноценно обученную рекуррентную архитектуру?

Суть резервуара заключается в нелинейном преобразовании. Он проецирует входной временной ряд в пространство крайне высокой размерности. В этом многомерном пространстве паттерны, которые в исходном сигнале накладывались друг на друга или казались неразделимыми, становятся линейно разделимыми. Именно с этим представлением и работает считывающий слой.

Аналогичный принцип лежит в основе ядерных методов (kernel methods) в классическом ML. Там вместо попыток обучить сложный нелинейный классификатор данные поднимают в пространство, где с ними легко справляется линейная модель.

Резервуару не обязательно быть идеальным — ему достаточно быть богатым на вариации. Случайная рекуррентная сеть с правильно подобранным спектральным радиусом порождает настолько разнообразную динамику, что каждый уникальный входной сигнал отражается в неповторимом внутреннем состоянии. Оптимизировать здесь нужно исключительно выход.

Зона максимальной информативности динамики резервуара располагается около отметки ρ ≈ 1. Эту область именуют «границей хаоса». Она находится на стыке слишком предсказуемой, угасающей динамики (ρ << 1, когда резервуар теряет чувствительность) и хаотического режима (ρ >> 1, провоцирующего неконтролируемый рост активности). Именно на этом пограничном участке система демонстрирует наилучшую способность к различению сигналов.

Звучит как авантюра, но на практике это мощный архитектурный прием.

Два исследователя, одна идея

В 2001 году Герберт Ягер из Германского национального исследовательского центра информационных технологий выпустил технический доклад, посвященный сетям эхо-состояний. Он предложил инженерный подход, дискретную шкалу времени и сигмоидные нейроны.

Спустя год Вольфганг Маасс с коллегами из Грацского технического университета опубликовали в журнале Neural Computation работу «Real-time computing without stable states». Их подход опирался на биологию, импульсные нейроны и моделирование коры головного мозга.

По сути, ученые описали одно и то же явление, используя разную терминологию, дисциплинарный контекст и мотивацию. А сам термин «резервуарные вычисления» закрепился еще позже — в 2005–2007 годах благодаря работам Верстраетена и его коллег, объединивших оба направления под единым зонтиком.

В научном мире подобные совпадения не редкость.

Распознавание образов… в ведре воды

В 2003 году Крис Фернандо и Сампса Соякка представили статью с интригующим названием. Экспериментаторы использовали обычное ведро с водой, на поверхность которой с помощью небольших моторов подавались возмущения, имитировавшие входной сигнал. Высота водной глади фиксировалась датчиками в нескольких точках — это и был резервуар. Поверх полученных замеров обучили линейный считыватель. И система успешно справлялась с распознаванием временных паттернов.

Обычная вода в роли физического резервуара.

Нелинейная динамика поверхностных волн сформировала богатейшее высокоразмерное отображение входного воздействия, которое успешно считал линейный классификатор. Эксперимент увенчался успехом.

С тех пор физические резервуары выделились в отдельную дисциплину. Сюда относятся оптические системы на базе оптоволоконных петель, спинтронные устройства, эксплуатирующие динамику намагничивания материалов, и механические конструкции, использующие упругие деформации. Базовый принцип един: любая физическая среда с нелинейной динамикой и свойством памяти способна исполнять роль резервуара.

Где применять целесообразно, а где — нет

	Vanilla RNN	LSTM	GRU	ESN
Обучаемые параметры	Все	Все + гейты	Все + гейты	Только W_out
Проблема градиентов	Присутствует	Частично решена	Частично решена	Отсутствует
Скорость обучения	Низкая	Низкая	Низкая	Высокая (через регрессию)
Длинные зависимости	Слабо	Эффективно	Умеренно	Зависит от ρ
Масштабируемость	Умеренная	Высокая	Высокая	Ограниченная

Несколько пояснений. Предсказание хаотических систем вроде уравнения Макки-Гласса, синоптических сводок или турбулентных потоков удается ESN на славу, поскольку хаотическая природа резервуара идеально резонирует со спецификой задачи. Распознавание речи и сигналов на периферийных микроконтроллерах также выигрывает за счет одноразового этапа регрессии при обучении и простейших матричных умножений на этапе инференса. В робототехнике метод ценят за оперативность настройки моторных навыков.

Разумеется, существуют и ограничения. Размер резервуара N подбирается вручную эмпирически. Слишком малая размерность обедняет динамику, а избыточная приводит к тому, что матрица состояний X раздувается до размеров N × T, создавая проблемы с оперативной памятью. Универсального рецепта для подбора ρ и разреженности W не существует — все решается экспериментом. На сверхдлинных последовательностях (более тысячи шагов) пальму первенства удерживают трансформеры благодаря механизму внимания, удерживающему весь контекст целиком, в то время как резервуар опирается лишь на угасающее эхо.

Однако есть один нюанс

К сожалению, в последние несколько лет о резервуарных вычислениях вспоминают нечасто. В контексте физического искусственного интеллекта и нейроморфных платформ технология позиционируется скорее как нишевый инструмент для сценариев с дефицитом данных, жесткими требованиями к скорости обучения или нестандартными аппаратными требованиями — этакий быстрый обходной путь.

Из относительно медийных проектов можно выделить чип Intel Loihi 2, поддерживающий импульсные сети, на базе которых исследователи моделируют жидкие машины состояний (liquid state machines), хотя нативной поддержки резервуарных вычислений в нем нет. Ряд научных коллективов также ведет разработки спинтронных и фотонных процессоров с прицелом на промышленное применение физических резервуаров.

На текущий момент это исчерпывающий срез индустрии.

Мы были рады познакомить вас с этой историей — одним из самых неординарных подходов в машинном обучении, построенном на осознанном отказе от оптимизации большей части параметров сети.

 

Источник