Короткий ответ: можно и нужно. Нужно для людей, которые продолжают пользоваться мобильными сервисами, доставкой еды и кидать заказы в корзины маркетплейсов. Эти бизнесы работают и растут, а значит, с поддержкой и развитием IT-инфраструктуры мы справляемся. Но это потребовало быстрых адаптаций.
Меня зовут Кирилл Малеванов, я технический директор Selectel. В начале 2022 года мы также столкнулись с необходимостью принимать быстрые эффективные решения. Как продолжать строительство нового дата-центра, закупать оборудование и не лишать клиентов технологических новинок? В статье расскажу, как теперь выглядит работа провайдеров IT-инфраструктуры.
Базовая пирамида IT-инфраструктуры
Ландшафт импортозамещения меняется каждую неделю. Появляются пути, как вернуть то, что мы теперь не можем достать — через «Шелковый путь» или собственное производство. Так, например, появился «Москвич 3», товары из IKEA или с iHerb в «Яндекс.Маркете».
Подобные процессы, в целом, не обошли стороной IT-инфраструктуру, которая представляет собой довольно комплексное понятие. Чаще всего обсуждают кризис в области серверного оборудования или программного обеспечения. Но IT-инфраструктура, по сути, начинается не с серверов, а с земли, где располагаются дата-центры. Именно она — основание базовой пирамиды, которую мы разберем в тексте.
В тексте я рассмотрю каждый уровень — от земли (зданий ДЦ, стройки) до клиентов.
C этой темой я выступил на HighLoad++. Видеоверсия доклада доступна по ссылке.
Земля
В этом блоке, в целом, нет неразрешимых вопросов. Крупных замороженных процессов стройки и развития дата-центров мы не зафиксировали. Бизнес провайдеров IT-инфраструктуры продолжают расти.
Да, с рынка ушли основные производители лифтов, некоторые вендоры красок, но есть альтернативы. Например, «Могилевлифтмаш». Также OTIS возобновила производство в России. Задержки поставок могут достигать полугода, но все доступно.
Дата-центры
Дата-центры — это важная часть любого IT-провайдера, Selectel не исключение. Для того чтобы поддерживать их круглосуточную работу, нужны системы для бесперебойного питания, кондиционирования и так далее. Как правило, названия производителей таких систем явно говорят об их иностранном (чаще всего европейском) происхождении.
Основные вендоры, с которыми мы имели дело последние десять лет, «вышли из чата» — они отваливались один за другим с марта по сентябрь.
Ситуация, конечно, сложная и неприятная. Но, если посмотреть на нее с точки зрения компании, которая ищет решение, оказывается, многие альтернативы у нас есть давным давно. Просто мы их не рассматривали из-за ненадобности.
Дизель-генераторные установки
Самый простой пример многомегаваттного дизель-генератора, кажется, видели все. Это тепловоз.
В составе тепловоза все то же, из чего состоит дизель-генератор для дата-центра. Есть дизель-машина, электрогенератор и потребители. Для нас доступны дизели КАМАЗа, ярославские дизели, также дизельные двигатели ставят на БелАзы.
Нюанс: Вы можете прийти к поставщику и сказать, что вам нужно пять машин, чтобы поставить в дата-центре. Но, скорее всего, получите ответ, что у них простаивает заказ на 2 000 БелАзов и нужно встать в очередь. Впрочем, если немного подождать, все будет.
Источники бесперебойного питания
Когда говорят об ИБП, чаще вспоминают оборудование от APC или Vertiv. Но есть много других вариантов.
Отечественные ИБП в работе видели многие — по крайней мере, жители и гости Москвы.
Встроенный источник бесперебойного питания с запасом электрической энергии есть и в поездах метро. Они способны проехать еще полкилометра на аккумуляторах.
Среди отечественных производителей ИБП — компании ПСМ, «Парус», «Импульс». Их ставят в больницах, госучреждениях, на электростанциях, где в случае отключения нужно поддерживать базовые функции — освещение, охлаждение генераторов и так далее. В существующих дата-центрах вы их не встретите, но в новых ДЦ, возможно, будут стоять именно они.
Системы охлаждения
Мы привыкли, что системы охлаждения — это что-то импортное. Даже бытовые кондиционеры — типа LG, Samsung — производят за рубежом. Для дата-центров использовались те же самые APC, Vertiv, Huawei. А есть ли что-то в России?
На самом деле есть, но мы не привыкли использовать это оборудование. Отечественные разработки есть в тех же рефрижераторных судах, автомобилях-рефрижераторах, которые возят замороженные продукты, и фреоновых кондиционерах.
Использовать это оборудование в дата-центрах можно, и у Selectel есть опыт. Мы пришли к производителям вентиляционных установок и предложили поставить их оборудование в дата-центре. Они удивились, ведь опыта монтажа вентиляционных установок в ЦОДах у них еще не было. На реализацию проекта ушло около года, и вентиляционная техника хорошо показывает себя в работе.
Тестовые зоны открылись еще в 2017–2018 годах, с тех пор мы дорабатываем решение и масштабируем его на другие площадки. А в 2020 году компания Schneider Electric выпустила решение для охлаждения дата-центров на базе вентиляционных машин. Мы же уже реализовали такой подход.
Нюанс: Мы столкнулись с тем, что отечественные или доступные на рынке решения больше и тяжелее тех, что нам предлагали импортные поставщики.
Так, в 2021 году мы сделали строительный проект дата-центра и должны были построить здание определенной несущей способности. Согласно расчетам, крыша должна была выдержать чиллеры весом 10 тонн, а в помещении мы поместили батарейки весом 5 тонн. При переходе на отечественное оборудование выясняется, что на крыше теперь будет не 10, а 15 тонн, а батарейки не влезают в отведенные помещения и весят на 5 тонн больше. Это значит, что строительный проект ДЦ нужно перерабатывать.
С этим можно жить. Но важно быть готовым, что ландшафт поменялся и, возможно, вам придется пересматривать какую-то уже относительно завершенную работу с самого фундамента.
Электрораспределение
Как провайдер IT-инфраструктуры мы не можем пойти к общедоступному строительному бренду типа Leroy Merlin и купить там автоматы защиты на небольшое количество ампер. Нам нужны автоматы защиты, ГРЩ, АВР, рассчитанные на большие токи, — до 6 000 ампер или на напряжение от 10 000 до 20 000 вольт.
Раньше эта потребность закрывалась импортными производителями. Есть отечественные альтернативы, но к таким большим токам и объемам, требованиям по надежности и точности они не готовы. Так, компании IEK и DKC сами честно признают: пока оборудование не дотягивает по качеству до зарубежных аналогов, но они к этому стремятся. Также не стоит забывать про оборудование из Китая: их автоматы защиты становятся лучше из года в год, как и китайские автомобили.
Есть вещь, которая стала для нас неожиданностью. Мы заказываем из Китая множество блоков розеток, провода, корпуса. Оказалось, что блок управления, который стоит посередине или сбоку блока розеток, показывает, какая там нагрузка и температура. Также он включает и выключает розетки при необходимости. И этот блок исключительно импортный. Например, от компании Legrand, которая запретила поставлять в Россию блоки розеток с таким функционалом. Так что мы либо ждем появления аналогов на рынке, либо используем розетки без «умных» блоков управления.
Сетевое оборудование
Рынок маршрутизаторов концентрировался на трех импортных производителях — CISCO, Juniper, Huawei. Еще небольшая доля рынка принадлежит Nokia. Ни одно из этих решений сейчас недоступно или серьезно подорожало.
Про работу с вендорами рассказывали на последнем сетевом митапе — Selectel Network MeetUp. Обсудили, как работать в мультивендорном мире и почему специалистам важно уметь работать не с одним, а с несколькими брендами сетевого оборудования.
А что с импортозамещением? Компании Элтекс, RDP, Q-Tech до сих пор успешно производят оборудование. Да, есть нюансы по софту и применению, но они решаются.
Есть пробелы в поставке оборудования, которые мы пока не решили. Это высокопроизводительные IP-маршрутизаторы, которые мы используем как пограничные роутеры.
Цепочка поставок сетевого оборудования после февраля.
Цены на сетевое оборудование увеличились в 2 раза. Причина проста: изменился логистический путь поставок.
Как было раньше: Я хочу купить коммутатор, рекомендованная розничная цена которого составляет $10 000. Прихожу напрямую к производителю, а он мне дает 40% скидки. Я понимаю, что железо есть на складе и оно будет стоить мне $6 000. Может быть, приедет через два месяца или полгода, но куплю я его за цену, отличающуюся от розничной в лучшую сторону.
Как происходит сейчас: Я хочу купить коммутатор, рекомендованная розничная цена которого составляет $10 000. Допустим, поставщик знает, как привезти оборудование в Россию, и транслирует эту информацию своему представителю. Посреднику дадут скидку максимум 10%, а он, в свою очередь, добавляет к железу стоимость логистики и свою маржу. Когда поставщик ввозит железку в Россию, он платит 20% НДС. Так цена становится уже $12 000.
В итоге стоимость сетевого оборудования изменилась в два раза — с 6 до 12 тысяч рублей. Именно это, вкупе с нестабильным курсом доллара и непостоянной ставкой Центробанка, влияет на ценообразование компании.
Так происходит во многих сферах.
Сервисы на сетевое оборудование
Как было раньше: Были разные варианты покупки сервисов, и это стоило понятных денег — 10–20% от стоимости оборудования.
Мы выбирали между RMA, Next Business Day, Same Business Day. К нам мог приехать инженер с оборудованием или запчастями на смену — чинил на месте.
Как происходит сейчас: Сервисное обслуживание стало либо сильно дороже, либо просто недоступно. Теперь сгоревшую железку нужно вернуть туда, где мы ее купили. А вы помните, что покупаем мы ее через посредников. Привезти в Россию сложно, отправить обратно — еще труднее. Производители тоже противятся таким возвращениям.
Поскольку замена и ремонт оборудования сильно осложнены, приходится больше думать наперед. Все важное оборудование подстраховывать в ЗИП — покупать основную железку и закладывать дубли на быструю смену. Это увеличивает стоимость партии оборудования примерно в 4 раза для компании.
В Selectel мы закупаем крупные партии оборудования — от 10 до 100 железок. В ЗИП закладываем меньше — так, что это несильно влияет на удорожание всей партии.
Серверы
Процессоры
Здесь нам известны три практически монополиста — Intel, AMD, NVIDIA. Что-то из серверного железа еще можно достать. Можно привезти HP, Dell, IBM, Fujitsu и других производителей. Но это будет дороже.
Если вам нужны 1–2 процессора, лучше к производителю с этим запросом не идти. Производителю интересно, если есть заказчик на миллион долларов. Они предлагают увеличить заказ в два раза, чтобы учесть риски, и только тогда начинают работать. Это нужно иметь в виду.
Как же ARM, спросите вы? ARM — британская компания, которая лицензирует архитектуру и документацию. Для России она вряд ли лицензирует производство ARM-серверов или ARM-чипов для российских нужд. Но, к слову, нам в Selectel несколько ARM-чипов достать удалось
Читайте подборку текстов, как мы добавили серверные ARM-процессоры в нашу линейку дедиков:
→ Тестирование и бенчмарки ARM-процессора Ampere Altra
→ Проблемы сборки Arch Linux под ARM-архитектуру и как мы их решали
На отечественных производителей процессоров мало надежд. Для работы в дата-центрах они пока не готовы. Ранее мы изучали «Эльбрусы» и написали об этом на Хабр.
Видеокарты
Недавно вышла десктопная видеокарта NVIDIA 4090 — она хорошая и доступная, ее можно привезти параллельным импортом. При этом стоит это несильно дороже, чем обычно.
С серверным сегментом сложнее: несколько штук в чемодане провезти можно, а вот партию в 200 штук стоимостью $5 000 не выйдет.
Память
Для плашек памяти, казалось бы, тоже много производителей. Но компонентную базу на них делают всего три компании. Спасает, что часть компаний — азиатские: не только американский Micron Technology, но и корейские Samsung и HYNIX.
Еще один плюс в том, что карты памяти делаются в таких объемах, что сто миллионов плашек, ушедших в Россию, становятся совершенно незаметными на фоне миллиардных заказов в Китай, Индию и США. Оптовые заказы из России теряются.
Диски
Такая же ситуация с SSD. Есть три крупных производителя чипов, на базе которых делаются SSD. Это Samsung, Micron и так называемый Kioxia. Последний является совместным предприятием ряда вендоров, которые на базе чипов Kioxia создают свои решения. В целом, SSD очень много, поэтому дефицита в ближайшее время здесь не будет. Они будут поставляться, в том числе параллельным импортом.
ПО и лицензии
Самая тяжелая ситуация сложилась на рынке программного обеспечения — затронут и консьюмерский и серверный сегменты. Ушли многие вендоры. Для новых ноутбуков, купленных в РФ, лицензированный Windows уже не купить. Школы и университеты сидят на Microsoft Office — лицензии не продлевается, а замены ПО нет. Какое здесь будет решение, покажет время.
Есть софт в консьюмерском сегменте: Adobe Photoshop, Adobe Light Room, Autodesk, AutoCAD. Оплачивать их с российских карт мы уже не можем. Для этого нужно заводить банковские аккаунты в известных странах — Казахстан, Узбекистан, Турция и других. Большинство компании, скорее всего, уже решили этот вопрос.
Серверный софт — Microsoft Office Windows, Oracle — покинули российский рынок. Его нужно замещать, и это задача, которую предстоит решать на протяжении нескольких ближайших лет. Либо переходить на open source — альтернатива, которую уже реализовывали или начали реализовывать компании.
Специалисты
Многие компании уехали вместе с сотрудниками — ни для кого это не новость. Уехали как зарубежные, так и российские компании, которые работали на иностранный рынок, — Jet Brains, Luxoft, EPAM и другие. Они забрали с собой лучших разработчиков, SRE-инженеров, UX-специалистов, маркетологов.
По некоторым вакансиям сильно возросла конкуренция, потому что многие сервисы — такси, банковский сектор, ритейл — остались и снижения спроса в своих сервисах они не видят.
Многие ведущие специалисты уехали за рубеж, осталось очень много джуниоров. Но джуны — это долгосрочная перспектива. Если есть возможность, учитесь растить младших специалистов, которые через год-два смогут вырасти в мидлов. Основная конкуренция за специалистов еще впереди.
Выводы
Строить IT-инфраструктуру по-прежнему можно и нужно. Российские компании продолжают развивать сервисы, которые нужны пользователями, а мы им помогаем. Да, стало сложнее и дороже, но выходы и альтернативы есть. Капитальные расходы выросли как минимум в два раза, а операционные — на 20–30%. И, как вы могли понять из текста, не только курс доллара этому виной, но и другие факторы.
