Перцептрон: принцип работы первой в истории нейросети

Сегодня мы окунемся в истоки эры современного искусственного интеллекта. Это знаковое событие произошло спустя всего год после запуска первого искусственного спутника Земли и оказало не менее грандиозное влияние на ход человеческой истории.

И, разумеется, за этим прорывом стояла плеяда выдающихся интеллектуалов.

С чего началась эта история…

1958 год вошел в историю США как период аномально дождливого и сурового лета. Мир стоял на пороге фундаментальных перемен, даже не подозревая об этом.

В недрах Управления военно-морских исследований США был запущен беспрецедентный эксперимент. Громоздкому, пятитонному вычислительному комплексу, занимавшему целое помещение, «предложили» проанализировать два массива перфокарт, различавшихся лишь конфигурацией отверстий.

Фрэнк Розенблатт, в то время еще соискатель докторской степени, работает над ранней версией вычислительной архитектуры — прообразом Перцептрона. Источник: news.cornell.edu.

Компьютеру предстояла непростая задача: научиться самостоятельно классифицировать карточки. Спустя всего полсотни попыток машина успешно справилась с задачей без малейшего участия человека. Так состоялось явление Перцептрона — фундаментального камня, на котором воздвигли здание машинного обучения. Как точно подметил сам Фрэнк Розенблатт: «*Это первая машина, способная генерировать собственные, оригинальные концепции*».

Создатель этого технологического чуда обладал редким сочетанием компетенций: он был инженером и одновременно психологом-исследователем. Вероятно, именно такой междисциплинарный синтез был необходим, чтобы заставить шкаф, набитый вакуумными лампами, сделать первый шаг к имитации автономного мышления.

Анатомия машинной мысли

Маккалох (слева), Питтс (справа) и, вероятно, их коллега Джером Летвин. Источник: nautil.us.
Маккалох (слева), Питтс (справа) и, вероятно, их коллега Джером Летвин. Источник: nautil.us.

Задача действительно была сложнейшей. В конечном счете, мы нередко испытываем трудности с пониманием собственного разума, не говоря уже о создании «мыслящей» военной установки.

Интерес к когнитивным механизмам психики привел Розенблатта к знаковой работе тандема исследователей — Уоррена Маккалоха и Уолтера Питтса.

Математик Питтс и нейрофизиолог Маккалох предприняли попытку формализовать человеческое мышление в виде символьного языка. Подобные идеи выдвигал еще Готфрид Лейбниц в своем концепте characteristica universalis, где каждое понятие обладает уникальным символом, а сложные конструкции строятся по строгим логическим законам.

Первоначально Маккалох планировал ввести понятие «психон» как элементарную единицу нейронной активности. Однако зачем множить сущности, когда уже существовало фундаментальное описание Яна Пуркине, Камилло Гольджи и Сантьяго Рамон-и-Кахаля — нейрон?

Согласно модели Питтса-Маккалоха, нейрон обрабатывает бинарные сигналы xixi​, поступающие от других нейронов.

Схема работы розенблаттовского Перцептрона. Источник: news.cornell.edu.
Схема работы розенблаттовского Перцептрона. Источник: news.cornell.edu.

Каждый вход умножается на фиксированный коэффициент wiwi​ — положительный для возбуждающих синапсов и отрицательный для тормозных. Взвешенная сумма S=∑wixiS=∑wi​xi​ определяет состояние нейрона: если она достигает порога θ, нейрон активируется.

Розенблатт разглядел в этой модели огромный потенциал для создания «анатомии мышления» и внес критическое дополнение — способность к самообучению. Он добавил динамические веса синапсов, которые изменялись согласно правилу дельта-коррекции при ошибочных классификациях. Ранее, в исходной работе, параметры жестко фиксировались для реализации базовых логических операций, таких как И, ИЛИ, НЕ.

К слову, биография Питтса напоминает захватывающий сюжет о стремительном взлете. Будучи выходцем из неблагополучной семьи в Детройте, он с ранних лет столкнулся с домашним абьюзом.

Уолтер Питтс. Начало научной карьеры в 18 лет.
Уолтер Питтс. Начало научной карьеры в 18 лет.

Однажды, скрываясь от реальности, он неделю прожил в библиотеке, где открыл для себя «Principia Mathematica» Рассела. Погрузившись в мир абстракций, он не только освоил язык формул, но и составил ряд уточняющих вопросов, отправив их автору в Англию. Тринадцатилетний подросток получил ободряющий ответ великого философа с приглашением в аспирантуру Кембриджа! Это признание навсегда определило судьбу Питтса, посвятившего себя науке.

Яркий расцвет и неизбежный закат

Практическая реализация Перцептрона началась в 1959 году в кампусе Корнеллского университета в Итаке.

Этот «первенец» включал 400 фотоэлементов для сенсорного ввода, 8 ламп-потенциометров с 520 переменными резисторами для настройки весов (вручную или сервоприводами) и пороговый сумматор на вакуумных лампах. При обнаружении ошибки сервоприводы вращали потенциометры, механически реализуя алгоритм обучения Розенблатта. Это было далеко от современных облачных нейросетей, где код пишется за чашкой кофе.

Розенблатт с аналоговой нейросетью. Источник: researchgate.net.
Розенблатт с аналоговой нейросетью. Источник: researchgate.net.

Благодаря модификации Розенблатта Перцептрон научился автономно классифицировать простые геометрические примитивы: круги, квадраты и треугольники. Успех вызвал ажиотаж в СМИ. Заголовки пестрели восторгами: «*Новое устройство ВМС обучается в процессе работы! Разработан прообраз системы, способной познавать и анализировать информацию*».

Mark I Perceptron.
Mark I Perceptron.

Однако колоссальные ожидания стали для Перцептрона непосильным бременем. Его уязвимости вскрылись десятилетие спустя.

Военное ведомство, желая форсировать использование технологии, поставило перед нейросетью задачу распознавания замаскированной техники. В ходе экспериментов выяснилось, что сеть не справляется с решением XOR (исключающее «ИЛИ»), так как однослойная структура физически не способна обрабатывать линейно неразделимые данные.

Более того, в ходе реальных тестов произошел конфуз: нейросеть, обученная на снимках замаскированных танков, сделанных в пасмурную погоду, ошибочно связала наличие камуфляжа с условиями освещенности. Она определяла танки как «наличие облачности», провалив полевые испытания на ярком солнце. Это фиаско стало серьезным ударом по репутации развивающегося направления.

Наступившая зима

Последовала затяжная «зима» в области ИИ. Провал с танками и критическая публикация Марвина Минского и Сеймура Паперта «Перцептроны», вскрывшая фундаментальные ограничения архитектуры, привели к прекращению финансирования.

Наступил период охлаждения интереса к машинному обучению, который продлился почти до конца 80-х. Возрождение началось лишь с появлением мощных процессоров, огромных объемов данных и новых нейросетевых топологий.

Фрэнк Розенблатт скончался в 1972 году, спустя три года после краха своего детища. Но время подтвердило его правоту: машины научились видеть и распознавать мир, пусть и значительно позже. Сегодня именем Розенблатта названа престижная премия IEEE, ежегодно вручаемая за выдающиеся достижения в области искусственного интеллекта.

Даже миниатюрный брелок в виде Mark I Perceptron стал бы достойным аксессуаром для любого энтузиаста ИИ.

 

Источник

Читайте также