[Перевод] Тайный мир сетей СВЧ-связи

Между Лондоном и Франкфуртом протянулась таинственная частная сеть связи, которая работает вдвое быстрее обычного интернета. Соединение обеспечивается цепочкой вышек с СВЧ-приёмопередатчиками. Когда-то сеть была совершенно секретной: её использовала единственная, очень богатая компания, и никто об этом не знал.

Однако пару лет спустя конкурент построил свою собственную линию СВЧ-связи между двумя городами. И тогда первая компания, чтобы не потерять преимущество в бизнесе, раскрыла информацию о своей линии. Если бы не усилия конкурента, вероятно, этот секрет до сих пор не был бы раскрыт.

Аналогичные истории происходили по всему миру. Но в связи с тем, что это частные сети и их зачастую используют финансовые группы, стараясь получить преимущество на фондовом рынке и заработать больше миллиардов, приходится прилагать усилия, чтобы найти информацию о таких сетях связи.

К примеру, в 2013 году, когда только начал лопаться пузырь высокочастотного трейдинга (high-frequency trading, HFT), исследователи из Калифорнии изучили большую выборку биржевых торгов и обнаружили, что с марта 2011-го сетевая задержка между Чикаго и Нью-Йорком резко снизилась на 2,5 мс. До этого лучший результат был 7,5 мс, так что снижение до 5 мс оказалось значительным. Далее исследователи воспользовались FCC и другими записями, на основании которых сделали вывод, что по состоянию на 2013 год (когда проводилось исследование) существовало 15 (!) сетей СВЧ-связи между упомянутыми двумя городами. Вероятно, отмеченное снижение задержки было связано с введением в строй новой сети.

^{Заметка из газеты 1949 года, рассказывающая о сети СВЧ-связи компании AT&T, «всего за 34 прыжка» соединяющей Нью-Йорк с Чикаго}

А что насчёт британской погоды?

Сами по себе СВЧ-сети известны очень давно. В 1949 году между Нью-Йорком и Чикаго (около 1140 км по прямой) компания AT&T ввела в строй линию связи из 34 отрезков ретрансляции между вышками связи, стоящими на расстоянии прямой видимости. В Великобритании с середины 1950-х по 1980-е из СВЧ-сетей была создана национальная магистральная сеть связи. Она обслуживала всё, от телевидения и телефонов до нужд военных и разведки.

^{Основа британской СВЧ-сети в 1956-м}
Развернуть СВЧ-сеть было дешевле, чем тянуть кабели, а её пропускная способность была выше, чем у меднопроводных технологий того времени. Но недостатком микроволн (обычно это частоты от 6 до 30 ГГц) является необходимость очень точного позиционирования антенн и обеспечения прямой видимости между вышками. Более того, дождь, облачность или просто замутнённость воздуха ослабляют СВЧ-сигнал — так называемый эффект rain fade («замирание при дожде»).

Частично компенсировать затухание можно с помощью усиления мощности передачи, установив более крупные антенны с гидрофобным покрытием, а также внедрив отказоустойчивые протоколы, использующие понижение радиочастоты для улучшения стабильности связи при ненастной погоде. Также с 1980-х годов СВЧ-связь заменяется или дополняется оптоволокном в качестве дополнительного канала передачи.

На сегодняшний день оптоволокно практически вытеснило СВЧ в магистральных каналах. Тем не менее микроволновые сети широко используются до сих пор, а лежащие в их основе технологии активно развиваются. В наши дни СВЧ по большей части применяется для подключения удалённых, труднодоступных районов к интернету, а также для специальных задач вроде обслуживания частных финансовых организаций. Ещё несколько лет назад практически все вышки сотовой связи в Европе обеспечивали СВЧ-транзит, но сейчас многие участки заменены оптоволокном, чтобы уменьшить нагрузку на базовые станции LTE и LTE-Advanced.

^{Карта некоторых СВЧ-сетей на юге Англии и в континентальной Европе. Сети в районе Корнуолла используются для подключения к подводным магистральным кабелям, которые здесь выходят на поверхность}

Сколько они ещё продержатся?

Учитывая, что мир уже плотно покрыт высокоскоростными оптоволоконными кабелями, возникает логичный вопрос: зачем нужны собственные СВЧ-сети?

Первая причина очевидна: в своей сети легче обеспечивать безопасность, качество обслуживания, пропускную способность и прочие вещи, важные для бизнеса.

Вторая причина, о которой уже упоминалось: как ни удивительно, СВЧ-сети имеют более низкий уровень задержки по сравнению с оптоволоконными каналами. На коротких участках оптоволокно работает быстро, но на длинных маршрутах, например между зарубежными офисами и биржей ценных бумаг, часто возникают лаги.

К сожалению, протяжённые оптоволоконные сети очень дорого прокладывать: необходимо копать траншею длиной в сотни или тысячи километров (либо оплачивать доступ к уже проложенным другими компаниями сетям). Также надо учитывать рельеф: как пересекать горы и реки — напрямую (дороже) или делать крюк и протягивать кабель через ближайший мост или тоннель? Собственно, поэтому большинство наземных оптоволоконных линий проходят поблизости от автомобильных и железных дорог.

Каждый раз, когда разработчикам сетей при планировании маршрута прокладки приходится принимать подобные важные решения, общая задержка несколько увеличивается. В сумме набирается несколько дополнительных миллисекунд. И в результате СВЧ-сети начинают выигрывать по этому параметру.

^{Карта наземных и подводных европейских линий, 2001 год. Более современные карты найти трудно, но большинство линий используется до сих пор, просто с обновлённым оборудованием}

^{Карта наземных линий в Европе, 2002 год}

^{Современная карта подводных кабелей между Великобританией и континентом}
Возьмём для примера Лондон и Франкфурт. Между ними по прямой около 644 км. Свет преодолеет это расстояние (299 700 км/с) за 2,126 мс. В оптоволокне световой луч движется не по прямой линии, а по ломаной, поэтому скорость снижается до 200 000 км/с, что даёт нам теоретический минимум в 3,186 мс.

Кроме того, в реальности кабель между Лондоном и Франкфуртом не состоит из цельного куска. Например, пакет данных может несколько раз пересылаться внутри самого Лондона, прежде чем достигнуть нужного роутера и начать путешествие через Европу. На пути ему встречаются другие роутеры и репитеры. Прибыв во Франкфурт, пакет также может быть передан несколько раз от одного сетевого узла к другому, прежде чем попасть к адресату. Добавьте сюда разнообразие рельефа и инфраструктуры, прохождение по подводному кабелю (через французский Кале или бельгийский Остенде), а также вероятность того, что роутер в Лондоне решит отправить пакет через Париж. В результате получаем среднюю задержку между Лондоном и Франкфуртом на уровне 17 мс.

А теперь сравните: задержка частной СВЧ-сети между ними — около 4,2 мс. Около — потому что параметры новейших сетей держатся в секрете. Поэтому компании, для которых критично время задержки, делают выбор в пользу СВЧ, а не оптоволокна.

Создание сети с двухточечным соединением

У СВЧ-сетей есть два ключевых преимущества:

• радиосигнал идёт по воздуху примерно в 1,5 раза быстрее света в оптоволокне,
• чаще всего между двумя пунктами можно построить сеть, близкую к прямой линии.

Последнее означает, что можно сильно уменьшить физическое расстояние прохождения пакета. Кроме того, снижается количество промежуточных роутеров при передаче пакета из пункта А в пункт Б.

^{Приёмопередатчик BridgeWave FP80-3000, способный передавать до 3 Гбит/с на частоте 80 ГГц. Диаметр антенны — 30 см}
Если говорить об инфраструктуре, то СВЧ-сеть представляет собой цепочку вышек с двумя приёмопередатчиками, направленными в противоположные стороны. Расстояние между вышками зависит от условий на местности, но в среднем — от 40 до 65 км. Максимальное расстояние определяется высотой антенн над землёй, частотными ограничениями и рельефом. Если водрузить мачту на вершину возвышенности и поставить мощный передатчик, то можно легко преодолевать и 80 с лишним километров, упираясь только в радиогоризонт.

Стоимость приёмопередатчика — в районе 10—20 тыс. фунтов стерлингов за устройство наподобие вышеупомянутого BridgeWave плюс 100—200 тыс. фунтов за каждую вышку (сюда входит доставка материала, возведение, резервное питание и так далее). Возвращаясь к примеру с Лондоном — Франкфуртом: такая сеть состоит примерно из 20 вышек, то есть стоимость возведения — 2,5—5 млн фунтов стерлингов. Сюда не входят затраты на персонал, операционные расходы (питание, аренда земли, техподдержка) и многое другое. Компании, управляющие такими сетями, отказываются раскрывать общие затраты, но про Лондон — Франкфурт известно, что речь идёт о сумме от 10 до 20 млн евро.

Если сравнить стоимость развёртывания СВЧ-сети и сотовой, то во втором случае нужно закупить массу оборудования и объединить вышки сетью, оптоволоконной или СВЧ. По данным на 2013 год, компания AT&T продала 9700 вышек на 4,85 млрд долларов, по 500 тыс. долларов каждая.

Наконец, для полноты сравнения давайте посмотрим, сколько будет стоить использование прямой оптоволоконной сети между Лондоном и Франкфуртом. Допустим, у нас есть 644-километровый кабель, аренда которого обходится примерно в 1 фунтов стерлингов за метр в год. Стоимость прокладки своего кабеля зависит от ряда параметров, в том числе от количества узлов и экранирования, но в целом это 0,5—1 фунт за метр для обычного наземного кабеля. Кроме того, как и в случае с СВЧ-сетью, через каждые 30—50 км нам нужны усилители сигнала, которые хоть и дороги, но всё же дешевле СВЧ-приёмопередатчиков.

Укладка нового оптоволокна дешевле развёртывания собственной СВЧ-сети, но это верно только в том случае, если между двумя пунктами уже есть магистраль, к которой можно подключиться с обеих сторон. Но если нужно построить свою 640-километровую линию… удачи!

Быстрым сетям нужно быстрое ПО

Уменьшение задержки на несколько микросекунд при подключении брокеров к биржевой системе впечатляет, но от неё не будет толку, если программное обеспечение не успевает за скоростью работы сети.

По большей части финансовые организации используют СВЧ-сети для алгоритмического высокочастотного трейдинга. Речь идёт о компьютерных алгоритмах, обрабатывающих данные о рынках ценных бумаг и быстро принимающих решения (продавать, покупать, длинные позиции, короткие), чтобы обогнать других трейдеров. В начале 2000-х первые алгоритмы соперничали с людьми, но сегодня на рынке сплошное засилье алгоритмов.

Как вы понимаете, подробности работы алгоритмов — строго охраняемый секрет. Но мы можем рассказать о любопытном случае. Утром 1 августа 2012 года компания Knight Capital, занимавшая одну из ведущих позиций в сфере HFT, выкатила новое трейдинговое ПО. Начиная примерно с 9:30 приложение вышло из-под контроля и начало хаотично покупать и продавать. За 45 минут убытки составили 7 млрд долларов. В конце концов компании удалось откатить часть сделок и снизить ущерб до 460 млн долларов, на тот момент — около половины рыночной стоимости самой Knight Capital. С тех пор этот случай называют «the Knightmare» (игра слов: nightmare — страшный сон).

^{На графике изображено изменчивое поведение трейдингового приложения Knight Capital. В 9:52 был провал, вероятно, кто-то вмешался в работу ПО, затем оно снова взбрыкнуло. К 10 утра его пофиксили}

^{График показывает объём торговли приложения по сравнению с другими биржами. Вероятно, именно здесь было потеряно больше всего денег}

^{Более подробное поведение алгоритма на протяжении 27-секундного отрезка. Синим цветом обозначены цены предложения и спроса на Нью-Йоркской фондовой бирже (NYSE)}

^{Ещё более подробный график. Приложение продаёт по 38,60, затем покупает по 38,75, каждый раз теряя 15 центов. Бот осуществлял сделки около 40 раз в секунду, 2400 раз в минуту}

^{А здесь показано поведение другого трейдингового ПО (Nokia). Бот снова и снова продаёт и покупает}

Помимо СВЧ

В последние пару лет некоторые сетевые компании экспериментировали с лазерной связью в качестве замены двухточечных СВЧ-сетей.

На сегодняшний день лазерные сети работают ненамного быстрее: задержка чуть ниже, пропускная способность почти та же. А передаваемый на сверхвысоких частотах (около 200 000 ГГц) сигнал крайне чувствителен к осадкам и облачности. Отчасти это можно компенсировать адаптивной оптикой (когда приёмник пытается изменить её форму для компенсации искажения сигнала), но на случай плохой погоды всё равно не обойтись без резервного канала — СВЧ, миллиметровой связи или оптоволокна.

^{Оборудование для создания лазерной сети производства компании AOptix}
Сейчас растёт популярность двухточечных миллиметровых сетей, использующих часть спектра над микроволновым диапазоном (~30—300 ГГц). Но во многих случаях они играют роль альтернативной связи, их пропускная способность по сравнению с СВЧ чуть выше, а устойчивость к погоде — ещё хуже. Также сейчас обсуждается использование миллиметрового диапазона для развёртывания 5G, а ряд WiGig-устройств (802.11ad) уже его используют. Но всё это сильно отличается от направленных двухточечных сетей.

Будущее частных сетей

^{Одна из СВЧ-вышек}
Компании, создающие сети связи, не особо распространяются о своих текущих и будущих проектах. Однако была озвучена любопытная информация о создании трансатлантической СВЧ-сети. Теоретически можно поместить приёмопередатчики на стоящих на якорях баржах (наподобие маленьких нефтяных платформ) или на привязанных воздушных шарах. Выгода та же, что и в случае с наземными сетями: низкая задержка. Сегодня при передаче данных по оптоволокну с западного побережья Англии на восточный берег Лонг-Айленда (4960 км) задержка составляет 25 мс. По СВЧ она будет около 16 мс.

Разница в 9 мс выглядит не слишком впечатляюще, но если добавить задержки при передаче по СВЧ из Лондона в Корнуолл (такая сеть уже есть), а также из Лонг-Айленда в Нью-Йорк (тоже есть), то в сумме получим на линии Лондон — Нью-Йорк задержку около 25 мс. А это ГОРАЗДО быстрее, чем нынешние 60 мс по оптоволокну.

Но, увы, никто пока не вложился в создание 80 плавучих СВЧ-вышек, пересекающих Атлантику. Насколько известно…