Код как борьба. Кратчайшая история IT. Часть 3. Клод Шеннон

Сегодня в 16:00 Прокомментировать Просмотры: 3

Пара слов о концепции нашего цикла «Код как борьба». Мы не станем погружаться в исчерпывающие жизнеописания: масштаб каждой ключевой фигуры таковы, что одной статьей здесь не обойтись, для этого существуют увесистые тома. Обойдемся мы и без сухой технической казуистики — едва ли это увлекательно в чистом виде. Вместо этого мы проследим, как эволюционирует мысль, передаваясь сквозь десятилетия и эпохи от одного человека к другому — порой даже без их ведома о том, что все они служат одному общему делу. Если какой-то из эпизодов пробудит у вас исследовательский аппетит, в конце текста вы найдете список рекомендуемой литературы, профильных статей и первоисточников.

Предыдущие материалы цикла:

Точка входа

0. Лейбниц, Бэббидж и Лавлейс

1. Алан Тьюринг

2. Джон фон Нейман

С каких пор банальный бытовой выключатель стал полноправным участником строгой математической логики?

Звучит несколько абсурдно, не так ли? Тем не менее, исчерпывающий ответ на этот вопрос дал в 1937 году один прорывной студент, и с той поры мы неизменно обитаем в выстроенной им реальности.

Перед вами четвертый выпуск цикла «Код как борьба: Кратчайшая история IT». И, как и было обещано, сегодня атмосфера станет значительно более непринужденной: никаких тяжелых личных драм в духе Тьюринга и мрачной тени атомного проекта фон Неймана. На повестке дня — гениальный виртуоз, мастер жонглирования с механической мышкой в придачу. Но стартуем мы, разумеется, с солидного фундамента.

Приступим.

Часть первая. Магистерский труд, заслуживший статус величайшей студенческой работы столетия

Клод Шеннон появился на свет в 1916 году в провинциальном Петоски, штат Мичиган, а отрочество провел в соседнем Гейлорде. К 1936 году он успел обзавестись двойным дипломом Мичиганского университета, успешно освоив электротехнику и чистую математику, после чего продолжил образование в аспирантуре Массачусетского технологического института (MIT).

Именно там, трудясь над магистерской диссертацией под началом Ваннивара Буша, он в августе 1937-го, в свои двадцать один год, ставит точку в исследовании. Спустя год его труд увидел свет на страницах профильного издания AIEE, а историки науки окрестили эту работу важнейшей магистерской защитой двадцатого века. Известный психолог Говард Гарднер охарактеризовал достижение без ложной скромности: «пожалуй, наиболее значимая и вместе с тем самая известная магистерская диссертация ушедшего столетия».

Давайте вникнем в суть вопроса.

К тридцатым годам телефонная индустрия задействовала громоздкие массивы электромеханических реле для автоматизации коммутации линий связи — проще говоря, переключающих схем. Проектирование подобных узлов основывалось скорее на инженерной интуиции и методе проб и ошибок, нежели на строгом теоретическом расчете.

Шеннон же подмечает и — что критически важно — безупречно доказывает математически поразительный факт. Аппарат булевой алгебры, созданный британским математиком Джорджем Булем еще в XIX столетии для описания законов человеческого мышления — все эти категории истинности и ложности, операторы И, ИЛИ, НЕ, — структурно абсолютная калька с поведения электрических цепей с контактными группами. В конце концов, любое реле способно пребывать лишь в двух положениях: замкнутом либо разомкнутом. Иными словами, оно в точности повторяет двойственную природу булевой переменной.

Вдумайтесь в масштаб этого озарения. Отныне любую логическую операцию, сложнейшее логическое условие можно было сконструировать и подвергнуть скрупулезному анализу в виде сети элементарных переключателей. Более того, вместо упования на субъективный опыт инженера открывался путь к использованию точных математических алгоритмов минимизации числа этих самых переключателей.

Так был возведен фундаментальный мост между абстрактными философско-математическими построениями и осязаемой реальностью электрических цепей.

Вспомните арифметико-логическое устройство из концепции фон Неймана. Без прорывного труда Шеннона оно так и осталось бы красивой теоретической схемой на бумаге, лишенной какого-либо понимания того, как заставить ее функционировать в материальном мире.

Любой логический вентиль внутри современного кремниевого процессора — будь то AND, OR, NOT или NAND — представляет собой прямую, неизменную в своей сути реализацию озарения двадцатиодноголетнего юноши, доказавшего в 1937 году тождественность формально-логического мышления и коммутации электрического тока. Это ровно та же математика, воплощенная в совершенно иных физических носителях.

Часть вторая. Природа информации как таковой

Перенесемся в эпоху Второй мировой войны и последующие годы. Шеннон сотрудничает с Bell Labs — корпорацией, чей профиль напрямую был связан с передачей сигналов на дальние расстояния и телефонией. Перед исследователем встает новая задача: как математически безупречно измерить объем информации, проходящей по линии связи в условиях неизбежных помех и искажений? И существует ли предельная скорость трансляции данных по зашумленному каналу?

В 1948 году он выпускает эпохальный труд «Математическая теория связи» (A Mathematical Theory of Communication), совершая второй революционный концептуальный переворот в своей карьере.

В чем же заключался фокус? Шеннон предложил оценивать информацию не через ее смысловое наполнение или ценность — эти категории субъективны и не поддаются формализации, — а сквозь призму степени неожиданности и неопределенности сообщения.

Событие, вероятность свершения которого стремится к единице, не несет практически никакой новой информации: когда оно наконец происходит, мы не узнаем ничего принципиально нового. И напротив, маловероятный инцидент обладает колоссальным информационным весом именно в силу своей непредсказуемости.

Подобный подход позволил ввести в обиход строгую единицу измерения — бит. К слову, сам термин родился с легкой руки его коллеги по Bell Labs Джона Тьюки как сокращение от «binary digit» (бинарный разряд). Тем не менее, именно работы Шеннона утвердили бит в качестве базового мерила информации на многие десятилетия вперед.

Из этой концепции закономерно выросла целая россыпь практических следствий, составивших фундамент современных цифровых коммуникаций.

Информационная энтропия источника — математический эквивалент того, сколько смысловой нагрузки в среднем генерирует данный источник. Этот показатель задает абсолютный теоретический предел эффективности для алгоритмов сжатия данных без потерь. Без данного теоретического базиса немыслимы ни привычные zip-архивы, ни современные алгоритмы компрессии медиаконтента.

Что касается пропускной способности каналов, Шеннон строго доказал существование теоретического максимума скорости безошибочной пересылки информации в условиях заданного уровня шума. И что поражает воображение особенно сильно — он продемонстрировал, что этот предел достижим (пусть не всегда технически просто, но принципиально) при грамотном кодировании сигнала, даже если уровень помех чудовищно высок, до тех пор пока скорость не пересекает заветную черту.

Каждый раз, когда современный беспроводной роутер, LTE-модем или оптоволоконная линия пытаются выжать максимум скорости из зашумленного физического тракта, инженеры в буквальном смысле вплотную подбираются к барьеру, математически вычисленному Шенноном в далеком 1948 году. Это не красивая метафора, а прямое практическое воплощение теоремы Шеннона — Хартли.

Информационная теория Шеннона подарила науке универсальный метаязык, позволив впервые рассматривать цифровые потоки как чистую абстракцию, полностью независимую от физического носителя или семантики сообщения. Текст, звуковая дорожка или графическое изображение — все они поддаются кодированию в биты и анализируются с помощью единого математического инструментария.

Часть третья. И о приятном

Обещанная порция легкого контента.

Шеннон навсегда вписал свое имя в летопись Bell Labs и MIT не только благодаря фундаментальным теоремам. Он искренне обожал воплощать абстрактные концепции в забавных механических устройствах.

Взять хотя бы его механическую мышь по кличке Тесей (Theseus), созданную в 1950 году. Этот агрегат умел методом проб и ошибок находить выход из лабиринта и надежно фиксировать успешный маршрут для последующих попыток. Перед нами ранняя, осязаемая демонстрация принципов, которые спустя десятилетия лягут в фундамент концепции обучения с подкреплением в сфере искусственного интеллекта.

Или его жонглирующие механизмы — например, метровый механический клоун, искусно подбрасывающий мячи в манере комика У. К. Филдса, прославившегося своими цирковыми номерами. Он мастерил машины для сборки кубика Рубика и механические компьютеры, способные играть в шахматы на усеченной доске. К слову, Шеннон стоял у истоков теоретического осмысления компьютерных шахматных алгоритмов, опубликовав программную статью на этот счет еще в пятидесятом году. Стоит уточнить: все эти диковинки создавались не разом, а на протяжении десятилетий, с начала пятидесятых вплоть до середины восьмидесятых. Тот же кубик Рубика появился на свет лишь в 1974-м, так что породившая его машина физически не могла быть ровесницей мыши Тесея.

Более того, он всерьез увлекался жонглированием совмещенным с ездой на моноцикле и даже сформулировал математическую теорию жонглирования, выведя уравнение, увязывающее число снарядов, амплитуду броска и соотношение времени нахождения предмета в воздухе и в руке.

В этом и заключается разительное отличие от фон Неймана. Если у последнего многогранность таланта выражалась в параллельной колоссальной работе над военными технологиями и экономической теорией, то у Шеннона это была скорее интеллектуальная игра, чистое любопытство ради познания. Это делает фигуру ученого куда более живой и симпатичной на фоне монументальных и тяжеловесных персонажей нашего повествования.

Заключение

Шеннон блестяще закрыл сразу два концептуальных пробела, оставшихся после предыдущих глав нашего цикла.

Во-первых, он объяснил природу связи между электрической схемой и логическими операциями, проложив тот самый мостик от абстрактной булевой алгебры к физическому «железу» архитектуры фон Неймана.

Во-вторых, он предоставил в распоряжение науки строгий математический аппарат для измерения информации — того самого ресурса, которому будут посвящены все последующие сюжеты нашего повествования.

Вопросы для обсуждения в комментариях

Первое. Шеннон сознательно отбросил из своей теории вопросы смысловой нагрузки и ценности сообщений, сконцентрировавшись исключительно на статистической неопределенности. Насколько подобное упрощение было оправданным инженерным компромиссом, позволившим выстроить безупречную математическую модель? И что безвозвратно утрачивается при таком подходе при попытке экстраполировать его на поиск подлинного «значения» информации в широком философском контексте?

Второе. Магистерская диссертация как наиболее влиятельный научный труд столетия — что это говорит об устройстве академической среды? Насколько редки столь масштабные прорывы на уровне студенческих работ сегодня, в эпоху глубокой специализации и бешеной конкуренции в науке?

И третье, несколько неожиданное. Стоит ли воспринимать эксцентричные механические игрушки Шеннона лишь как эксцентричное хобби гения, или же правомерно видеть в них полноценный исследовательский метод? Множество фундаментальных концепций современного машинного обучения выросли из детского желания «поиграть» с идеей, а не из жестких рамок грантовых исследований. О чем это говорит нам в контексте игры как познавательного инструмента?

В следующем материале мы наконец совершим переход от чистой теории к прикладному, повседневно используемому системному инструментарию. Два инженера, одна лаборатория, заброшенный компьютер и программная платформа, которая спустя полвека скрывается под пользовательским интерфейсом каждого смартфона на планете. Нас ждут Кен Томпсон, Деннис Ричи, Unix и язык C.

Источники и фактологические ссылки

Дата появления Шеннона на свет, детство в Петоски и Гейлорде — Wikipedia: Claude Shannon
Дата подписания диссертации (10 августа 1937 года) и возраст автора — патентное ведомство USPTO со ссылкой на автограф рукописи, CASBS Stanford: биографический очерк
Цитата Говарда Гарднера о диссертации как «самой важной и известной работе века» — MIT Alumni Association: Claude Shannon
Авторство термина «бит» (Джон Тьюки) — зафиксировано в историографии теории информации, подробнее в Wikipedia: Claude Shannon
Коллекция автоматных устройств Шеннона (мышь Тесей, жонглирующий У.К. Филдс и др.), переданная в фонды музея MIT с временным диапазоном «с 1950-х по середину 1980-х» — MIT News: Shannon collection shows wit and whimsy
Год создания кубика Рубика (1974) — общеизвестный исторический факт