Когда Большой адронный коллайдер запущен — как например, во время своего второго цикла, с начала 2015 года по 2018 год, — он обрабатывает события на частоте 40 МГц. Другими словами, он учитывает 40 миллионов событий в секунду. Это необходимо, чтобы отслеживать столкновения между частицами, длящиеся менее 25 наносекунд.
Каждое событие содержит в себе примерно 1 мегабайт данных. Это значит, что в систему во время работы коллайдера входит примерно 40 терабайт данных. В секунду! Абсолютно фантастический объем информации, ведь петабайт набирается примерно за полминуты. Около 72 000 средних жестких дисков заполнялись бы каждый час.
Обрабатывать всё это на такой же скорости не представляется возможным; для анализа подобных объемов данных после окончания работы установки требуются годы. Значительная часть отфильтровывается еще на этапе сбора, на что тоже уходят огромные вычислительные ресурсы. Но всё-таки остальную часть информации нужно где-то хранить. Для этого европейская организация по ядерным исследованиям (ЦЕРН) содержит самый большой ЦОД в мире.
Как хранятся данные ЦЕРН
Полностью всю информацию записать не могут даже в ЦЕРН. Поэтому они фильтруют события с той же скоростью, с которой те поступают. Система должна отфильтровывать от 40 миллионов событий в секунду до ~1000 актуальных событий в секунду, которые можно затем записать на носители. В основном такая фильтрация делается за счет уровней.
Сеть БАК организована по уровням: 0, 1, 2 и 3. Уровень 0 обрабатывает первичную информацию и находится в самом ЦЕРНе. Он состоит из тысяч коммерчески купленных серверов— как старых коробок в стиле ПК, так иблейд-систем, похожих на черные коробки из-под пиццы, сложенные рядами на полках. Новые серверы постоянно приобретаются и добавляются. Данные, передаваемые на уровень 0 системами сбора данных БАКа, архивируются на магнитной ленте.
Уровень 0 — это ЦОД ЦЕРНа. Все данные БАКа проходят через этот центральный узел, но в целом он обеспечивает менее 20% общей вычислительной мощности. ЦЕРН отвечает за безопасное хранение необработанных данных (триллионов цифровых показаний со всех детекторов) и выполняет первый этап преобразования этих данных в значимую информацию. Бесполезные данные выбрасываются и нигде не записываются. Другие необработанные и реконструированные данные выходят на Уровень 1. Он является основным и самым активным всё то время, когда БАК не работает.
Никаких людей на этом этапе всё еще нет, распределение информации происходит автоматизированно. Уровень 1 состоит из 14 дата-центров в разных странах, каждый площадью 3-5 тысяч квадратных метров. Мощность такого ЦОДа — порядка 3 МВт. Дата-центры обеспечивают круглосуточную поддержку сети и отвечают за хранение своей части необработанных и реконструированных данных, а также выполняют крупномасштабную обработку и категоризацию информации для её последующего хранения.
Дата-центры уровня 1 отвечают за распространение данных на уровни 2 и 3. Они также хранят долю смоделированных данных, которые производит уровень 2. Оптоволоконные линии связи, работающие со скоростью минимум 60 гигабит в секунду, соединяют ЦЕРН с каждым из 14 крупнейших центров уровня 1 по всему миру. Некоторые из них находятся в Венгрии, другие — в Швейцарии, Франции, Нидерландах, Британии. Эта выделенная сеть с высокой пропускной способностью называется LHC Optical Private Network (LHCOPN). Каждые несколько лет к сети подключается новый ЦОД: в 2014 году их было 12, в 2018-м — 13.
Необработанные данные экспериментов существуют в двух копиях: одна в ЦЕРНе на уровне 0, а другая — в крупных центрах уровня 1 по всему миру.
К вычислительной сети БАКа также подключены центры второго уровня — небольшие вычислительные станции в университетах и исследовательских институтах. Там не всегда есть пространство, чтобы поставить большие ЦОДы, но к ним тоже протянута высокоскоростная линия связи, чтобы они могли быстро получать необходимые им данные, структурированные на уровне 1. Даже в такой ситуации, на скоростях 10-60 Гбит/сек, иногда загрузка необходимых данных для анализа занимает несколько недель.
Есть и уровень 3 — индивидуальные компьютеры отдельных профессоров, их студентов и в целом волонтеров по всему миру. Они тоже часто помогают с вычислительной мощностью и могут хранить определенные сегменты данных, чтобы снять нагрузку с сети. Всё это обработанные данные, пришедшие с уровня 1, так что даже если какие-то из них потеряются — не страшно. На уровне 0 внутри ЦЕРНа сохранены все те данные, которые были отфильтрованы в процессе работы установки.
Первый в истории эксабайт
Поэтому ЦЕРНу нужно гигантское хранилище, способное содержать все результаты экспериментов, накопленные за несколько лет. Даже после резкого сокращения объема новых данных во время текущего «затишья», ЦОД внутри ЦЕРНа обрабатывает в среднем один петабайт (один миллион гигабайт) данных в день. Это проанализированные данные, которые постепенно накапливаются.
Чтобы справиться с нагрузкой, институт постоянно добавляет новые хранилища. И в конце сентября организация объявила, что их объем достиг более одного эксабайта, то есть 1024 петабайт (или 1 миллион терабайтов). Это на 39% больше по сравнению с тем же периодом прошлого года: в 2022-м хранилище ЦЕРН имело емкость 735 петабайт.
В официальном заявлении исследовательская организация отметила, что один миллион терабайт дискового пространства нужен не только для записи физических показателей БАКа. Там также размещаются другие данные ЦЕРН, включая вторичные эксперименты, данные от других лабораторий и разные совместные онлайн-сервисы, которыми пользуются ученые.
Емкость в 1 эксабайт обеспечивается за счет 111 000 устройств, преимущественно жестких дисков, а также растущей доли флэш-накопителей. Около 60% хранилища данных ЦЕРН представлена HDD, и только 15% дисков (около 17 000 устройств) являются SSD (но они представляют гораздо меньше 15% емкости всей системы).
Твердотельные накопители управляются программным решением ЦЕРНа с открытым исходным кодом под названием EOS. Оно было создано сотрудниками научно-исследовательского института в 2010 году специально для удовлетворения экстремальных вычислительных потребностей БАКа. При этом этот софт доступен любому — его можно бесплатно установить с сайта лаборатории. В 2021 году у них было около 30 тысяч клиентов, и они хранили порядка 8 миллиардов файлов. Сейчас, в 2023-м, эти цифры, вероятно, можно умножить в два раза.
Для долговременного хранения данных ЦЕРН использует в основном магнитные ленты. Причем они обновляются. Данные из старого архива постоянно переносятся на новые ленты, с более передовыми технологиями и более высокой плотностью записи.
При наличии более чем сотни тысяч устройств поломки неизбежны, поэтому данные постоянно реплицируются. В ЦЕРН говорят, что «сбои компонентов являются обычным явлением, поэтому хранилище построено так, чтобы не допустить критических потерь». Заново начинать эксперимент, который обходится в $1 млрд в год, не хочется никому.
Андреас Петерс, руководитель проекта EOS, дисковой системы хранения данных ЦЕРН, заявил, что огромный рост объема хранилища является подготовкой к предстоящему эксперименту по запуску тяжелых ионов на Большом адронном коллайдере:
«Мы достигли этого нового рекорда для инфраструктуры хранения данных после расширения мощностей, чтобы иметь возможность собрать все данные по тяжелым ионам. Здесь важно не только повышение емкости данных, но и увеличение производительности. Скорость чтения объединенного хранилища данных у нас впервые превысила порог в один терабайт в секунду (1 ТБ/с)».
Благодаря этому, в теории, за день работы коллайдера лаборатория теперь сможет обрабатывать и сохранять не один, а три петабайта данных. А значит, будет собираться в три раза больше информации об экспериментах. Так можно будет достичь более высокой точности измерений — сократив объем данных, отбрасываемых во время фильтрации.
Йоахим Мних, директор ЦЕРН по исследованиям и вычислениям, в заявлении о достижении нового рубежа емкости хранилища говорит: «Этим мы еще раз привлекаем внимание мира к тому, насколько важно продолжать расширять возможности обработки и хранения данных. Мы устанавливаем новые стандарты для высокопроизводительных систем хранения данных, в том числе для компаний и других лабораторий. И, конечно, это очень важная веха для будущих запусков LHC».
Сегодняшняя емкость хранилища представляет собой колоссальное увеличение на 3100% по сравнению с тем, что было в ЦЕРН десять лет назад, в 2012-м. Тогда хранилище данных БАКа могло содержать всего лишь скромные 32 петабайта.
Что интересно, пока что емкость хранилища уровня 0 развивается строго в соответствии с вот этим графиком. Владимир Багил, Джерман Санчио и другие ученые ЦЕРНа ещё в 2015 году предсказали объемы данных, необходимые для продолжения работы проекта. Если верить их работе, то к 2029 году хранилище придется увеличить еще в 4 (!) раза. В нем будет содержаться уже 4 эксабайта данных. Это примерно 0,003% данных всего современного Интернета (~120 зетабайт).
