В апреле 2011-го Facebook выступил с революционной идеей — перенести принципы Open Source из мира программного обеспечения в мир аппаратных средств. Новое сообщество назвали Open Compute Project. Его идеология похожа на идеологию Open Source: открыто делиться идеями по разработке серверного оборудования и сообща делать его более эффективным, дешевыми, надежными и простыми в обслуживании.
В этом году OCP исполняется 10 лет, и за это время сообщество разработало множество крайне интересных продуктов и создало несколько новых стандартов для индустрии. Самое время сделать небольшой обзор.
Что характерно, изначально Facebook разрабатывал новый дата-центр для себя, но со временем ребята поняли, что любое дело (к тому же такое масштабное) проще делать сообща. Вот как об этом рассказывали основатели проекта в 2011 году: Introducing the Open Compute Project
Многие крупные игроки отрасли оценили выгоды проекта — и один за другим присоединились к OCP. Сегодня среди участников и контрибьюторов проекта десятки громких имен, таких как Alibaba, Asus, Baidu, Facebook, Google, HPE, Intel, Microsoft, Nokia, Rittal и другие. Полный список доступен на сайте OCP.
За десять лет работы под крылом Open Compute Project разработано больше сотни новых продуктов, многие из которых получили очень широкое распространение в отрасли и даже за пределами сообщества. Мы поднапряглись и составили полный таймлайн со всеми продуктами OCP, начиная с 2010 года.
2011 год
Freedom
Первый OCP сервер Facebook, с которого стартовал проект. Не имел серверного корпуса, поэтому все компоненты были открыты для обслуживания без дополнительных инструментов. Данная особенность станет одной из основных во всех продуктах под эгидой Open Compute Project. Отсутствие передней панели позволяло также улучшить охлаждение. Все кабельное обслуживание велось с передней панели.
2012 год
Windmill и Watermark
Следующим развитием серверов стала полка с двумя серверами OCP v2 с общим источником питания. Windmill отличался от Watermark лишь тем, что первый это Intel сервер, а второй — AMD. Формат материнской платы стал образцом для многих последующих продуктов. Как можно видеть, общего электропитания уровня стойки еще нет.
Winterfell
Сервер Winterfell стал первым в новом формате стойки Open Rack V1 и первым использующим общее электропитания уровня стойки. В нем отсутствовали источники питания, так как всё питание осуществлялось по трем внешним шинам 12 вольт. Каждый сервер подключен к своей шине и независимо может обслуживаться пока остальные 2 продолжают работу внутри серверной полки. Серверы построены на базе Dual Socket Intel C610 (E5-2600 V3 и V4).
2014 год
High Density Server
Сервер с повышенной плотностью вычислительных узлов, разработанный Stack Velocity, серверным подразделением корпорации Jabil. Форм-фактор 2OU4N позволял в тот же объем что и Winterfell упаковать 4 двухсокетные машины на процессорах Intel E5-2600. Поддерживал DDR4 до 16 планок, интерфейс 1GbE, сетевую карту формата OCP mezz, до двух 2,5″ SATA дисков и две слота PCIe x8g3 HLHH. Полка была рассчитана под Open Rack v1.
2016 год
Yosemite
Сервера Yosemite являются реализацией подхода, при котором наращивание вычислительной мощности дата-центра осуществляется за счет увеличения количества относительно простых серверов. Система представляет из себя полку, высотой 2OU на 3 модуля в ширину. В каждом модуле 4 односокетных узла. Таким образом в шасси высотой 2OU помещаются 12 вычислительных узлов.
Типовым вычислительным узлом для Yosemite является Mono Lake. Это compute node карта для Yosemite на базе Xeon D-1500 SoC. Поддерживает 4 DIMM (2 на канал частотой 2400MHz, общим объемом до 128GB). Имеет 2 M.2 (NVMe/SATA). Габариты 210mm x 110mm.
Такие сервера ориентированы на микросервисные архитектуры, фронтэндные системы и PHP/Hack и HipHop Virtual Machine (HHVM) приложения, где двухсокетные сервера со “взрослыми” Зеонами экономически не оправданы. Ядро Intel Xeon-D примерно в половину вычислительно слабее ядра “взрослого” Зиона. Под требования Facebook компания Intel даже выпустила “кастомный” процессор Xeon D-1581.
Leopard
Leopard стал обновлением Windmill. Увеличились радиаторы и повысилось качество обдува, что позволило в свою очередь использовать процессоры с термопакетом до 145Вт. Также появилась поддержка мезанинной карты с двумя QSFP+ и слот mSATA.
В 2019 году получил апгрейд Leopard Cave в виде новой полки, совместимой с Open Rack V2, где уже используется одна общая центральная шина питания.
2017 год
Yosemite V2
Обновленная версия Yosemite может похвастаться увеличившейся плотностью вычислительных узлов. При тех же габаритах шасси модулей стало 4 вместо 3. Соответственно шасси высотой 2OU стало вмещать 16 вычислительных узлов. Шасси Yosemite v2 поддерживает как Mono Lake, так и сервер нового поколения Twin Lakes 1S. В Yosemite v2 была реализована поддержка OpenBMC.
В качестве вычислительного узла к Yosemite V2 появилось логичное продолжение Mono Lake. Новое SoC решение назвали Twin Lakes. Производительность вычислений Twin Lakes обеспечивается 18-ядерным процессором Intel® Xeon® D.
Tioga Pass
Tioga Pass стал преемником Leopard, который на этот момент уже активно использовался в различных вычислительных сервисах Facebook. Tioga Pass имеет двухсокетную материнскую плату, которая использует тот же форм-фактор 6,5 х 20 дюймов и поддерживает односторонний и двусторонний дизайн. Двусторонний дизайн (с DIMM на обеих сторонах печатной платы) позволяет максимизировать конфигурацию памяти. Хотя, надо отметить, такие конфигурации с двухсторонним размешением модулей памяти не получили распространения. Встроенный разъем mSATA в Leopard был заменен слотом M.2 для поддержки твердотельных накопителей M.2 NVMe. Также в Tioga Pass был обновлен слот PCIe с x24 до x32, что позволяет использовать два слота x16 или один х16 и два х8 для более гибкой настройки настройки в качестве головного узла для Big Basin JBOG (GPU-сервер) и Lightning JBOF (дисковый массив). Это также первый сервер Facebook с двумя центральными процессорами, использующий OpenBMC.
2020 год
Sonora pass
Анонсированный на OCP Virtual Summit 2020 сервер как продолжение концепции Tioga Pass. При проектировании делался упор на повышение удобства обслуживания и повышение модульности, что в свою очередь должно было привести к снижению стоимости владения инфраструктурой при массовом развертывании. Дополнительно появились карты расширения с четырьмя дисковыми модулями E1.S EDSFF (Enterprise & Data Center SSD Form Factor) 25мм, два слота для OCP NIC 3.0 и два слота PCIe FHHL. Также это первый сервер OCP выстой 1OU. Как видно на изображении ниже плата не занимает всей ширины шасси. Это интересная фича, благодаря которой плату можно использовать в решениях, созданных для 19 дюймовых стоек. Поскольку сервер спроектирован на базе Intel Xeon Cooper Lake, он не получил широкого распространения из-за дефицита самих процессоров.
Yosemite V3
В этом же году были выпущены сервер Yosemite V3 и его вычислительный узел Delta Lake. Delta Lake использует Intel Xeon Scalable Processor третьего поколения (Cooper Lake). Facebook представил четыре возможных конфигурации сервера.
Сам же Yosemite V3 представляет собой серверную полку высотой 4 OU и шириной 1/3 с установленной на нее baseboard-платой для шеринга NIC.
На начало 2021 года известных решений на Ice Lake не было представлено, будем следить за продолжением.
В следующей статье мы расскажем о дисковых массивах и сопутствующих им продуктах, созданных сообществом Open Compute Project.
Stay tunned …
