Обучение с помощью света: Так может выглядеть динамика световой волны, используемой внутри физической самообучающейся машины. Решающее значение имеет как её неправильная форма, так и то, что её развитие происходит в обратном направлении точно с момента её наибольшей протяжённости (красный цвет).
Искусственный интеллект не только обеспечивает впечатляющую производительность, но и создаёт значительный спрос на энергию. Чем сложнее задачи, для решения которых он обучается, тем больше энергии он потребляет. Виктор Лопес-Пастор и Флориан Марквардт, учёные из Института Макса Планка по изучению света в Эрлангене (Германия), предлагают метод, с помощью которого можно гораздо эффективнее обучать искусственный интеллект. Их подход основан на физических процессах вместо используемых в настоящее время цифровых искусственных нейронных сетей. Работа опубликована в журнале Physical Review X. Компания Open AI, создавшая искусственный интеллект (ИИ), не раскрыла объём энергии, необходимой для обучения GPT-3, который превращает ChatGPT в красноречивого и, судя по всему, хорошо информированного чат-бота. По данным немецкой статистической компании Statista, для этого потребуется 1 000 мегаватт-часов — примерно столько же, сколько потребляют в год 200 немецких домохозяйств с тремя и более людьми. Хотя эти энергозатраты позволили GPT-3 узнать, что за словом «deep» в его массивах данных чаще всего следует слово «sea» или «learning», по общему мнению, он не понимает глубинного смысла этих фраз по-настоящему. С целью снижения энергопотребления компьютеров и, в частности, приложений ИИ, в последние несколько лет несколько исследовательских институтов изучают совершенно новую концепцию обработки данных компьютерами в будущем. Эта концепция известна как нейроморфные вычисления. Хотя по названию она похожа на искусственные нейронные сети, на самом деле она имеет мало общего с ними, поскольку искусственные нейронные сети работают на обычных цифровых компьютерах. Это означает, что программное обеспечение, точнее, алгоритм, смоделирован по принципу работы мозга, а в качестве аппаратной части выступают цифровые компьютеры. Они выполняют вычислительные шаги нейронной сети последовательно, один за другим, разграничивая процессор и память. «Передача данных между этими двумя компонентами сама по себе потребляет огромное количество энергии, когда нейронная сеть обучает сотни миллиардов параметров, т.е. синапсов, с объёмом данных до одного терабайта, — говорит Марквардт, директор Института Макса Планка по науке о свете и профессор Эрлангенского университета. Человеческий мозг устроен совершенно иначе и, вероятно, никогда не стал бы эволюционно конкурентоспособным, если бы работал с энергоэффективностью, подобной энергоэффективности компьютеров с кремниевыми транзисторами. Скорее всего, он бы вышел из строя из-за перегрева. Мозг характеризуется тем, что многочисленные этапы мыслительного процесса выполняются не последовательно, а параллельно. Нервные клетки, а точнее, синапсы, являются одновременно и процессором, и памятью. В качестве возможных кандидатов на создание нейроморфных аналогов нервных клеток в мире рассматриваются различные системы, в том числе фотонные схемы, использующие для вычислений не электроны, а свет. Их компоненты одновременно выполняют функции переключателей и ячеек памяти. Искусственный интеллект как гибрил пинбола и абака: в этом мысленном эксперименте синий положительно заряженный пинбол обозначает набор обучающих данных. Шарик запускается с одной стороны пластины на другую.
Вместе с Лопесом-Пастором, докторантом Института Макса Планка по изучению света, Марквардт разработал эффективный метод обучения для нейроморфных компьютеров. «Мы разработали концепцию самообучающейся физической машины», — объясняет Флориан Марквардт. «Основная идея заключается в том, чтобы проводить обучение в виде физического процесса, при котором параметры машины оптимизируются самим процессом». При обучении обычных искусственных нейронных сетей необходима внешняя обратная связь, чтобы регулировать силу многих миллиардов синаптических связей. «Отсутствие такой обратной связи делает обучение гораздо более эффективным», — говорит Марквардт. Реализация и обучение искусственного интеллекта на самообучающейся физической машине позволит сэкономить не только энергию, но и вычислительное время. При обучении обычных искусственных нейронных сетей необходима внешняя обратная связь для регулировки силы многих миллиардов синаптических связей. «Отсутствие такой обратной связи делает обучение гораздо более эффективным», — говорит Марквардт. Реализация и обучение искусственного интеллекта на самообучающейся физической машине позволит сэкономить не только энергию, но и вычислительное время. «Наш метод работает независимо от того, какой физический процесс происходит в самообучающейся машине, и нам даже не нужно знать его точный ход», — поясняет Марквардт. «Однако этот процесс должен удовлетворять нескольким условиям. Самое главное — он должен быть обратимым, т.е. он должен быть способен работать как в прямом, так и в обратном направлении с минимальными потерями энергии». «Кроме того, физический процесс должен быть нелинейным, то есть достаточно сложным, — говорит Марквардт. Только нелинейные процессы могут выполнять сложные преобразования между входными данными и результатами. Катящийся по тарелке шарик, не сталкиваясь с другим, представляет собой линейный процесс. Однако, если его потревожит другой шарик, ситуация станет нелинейной. Примеры обратимых нелинейных процессов можно найти и в оптике. Так, Лопес-Пастор и Марквардт уже сотрудничают с экспериментальной группой, разрабатывающей оптический нейроморфный компьютер. Эта машина обрабатывает информацию в виде наложенных световых волн, при этом соответствующие компоненты регулируют тип и силу взаимодействия. Цель исследователей — реализовать концепцию самообучающейся физической машины на практике. «Мы надеемся, что через три года сможем представить первую самообучающуюся физическую машину, — говорит Флориан Марквардт. К этому времени должны появиться нейронные сети, использующие для работы гораздо большее количество синапсов и обучаемые на значительно больших объёмах данных, чем сегодня. Вследствие этого, вероятно, возникнет ещё большее желание вывести нейронные сети за пределы обычных цифровых компьютеров и заменить их эффективно обучаемыми нейроморфными компьютерами. «Поэтому мы уверены, что самообучающиеся физические машины имеют все шансы на использование в дальнейшем развитии искусственного интеллекта», — говорит физик.Нейронные сети на нейроморфных компьютерах
Самообучающаяся физическая машина самостоятельно оптимизирует работу своих синапсов
Практический тест в оптическом нейроморфном компьютере
