Искусственный интеллект набирает обороты и появляется спрос на серверные шкафы именно под такие серверы. Специфика размещения данных серверов состоит в том, что они почти все повышенной глубины, имеют внушительный вес, у них высокое электропотребление и им нужен дополнительный теплоотвод. Всё это требует большого пространства. Рассмотрим, что нужно учитывать при размещении серверов искусственного интеллекта и другого габаритного оборудования в серверной.
Размер имеет значение
С шириной телекоммуникационного шкафа более или менее понятно – устоялся стандарт 19 дюймов. Высота – вплоть до 60 U. А с глубиной могут быть вариации: обычно она составляет 600 или 800, реже 1000 и 1200 мм. И это ключевая особенность, которую нужно учитывать при размещении сервера для решения задач с применением машинного обучения (machine learning). Эти серверы имеют глубину в районе 900 мм. Вот некоторые из них:
Нужно отметить, что не все серверы под искусственный интеллект имеют глубину более 800 мм, например, у Lenovo есть серверы с габаритами от 692 мм, а у Dell от 445 мм (хотя у того же Lenovo есть сервер с жидкостным охлаждением глубиной 931 мм). Тем не менее потребность в глубоких стойках под ИИ скорее правило, чем исключение.
Пример размещения глубокого сервера в стойке дата-центра в Тушино, где мы размещаем клиентские серверы на colocation или если cдаем в аренду свои серверы под ИИ.
Иначе говоря еще до приобретения оборудования для решения задач с помощью ИИ нужно заранее позаботиться о том, где размещать серверное оборудование. Для этого лучше подобрать rack более, чем метровой глубины – 1070, 1082, 1130, 1140, 1200 мм (говорят есть даже 1300 мм).
В обычный телекоммуникационный шкаф или стойку глубиной 600 или 800 мм такой сервер не войдет, разве что поставить его на попа (шучу).
Пара вопросов о габаритах
По поводу габаритов серверов и шкафов разумно задать два вопроса:
- Если сервер менее 900 мм, то зачем шкафы глубиной 1200 мм?
- Нужны ли шкафы метровой глубины для серверов менее 800 мм?
Ответ на оба вопроса один: дополнительное пространство требуется для размещения блоков распределения питания (PDU) и самое главное для кабельной инфраструктуры, которая, как у меди, так и у оптики имеет минимальный радиус изгиба и требует определенное пространство за тыльной частью сервера. Помимо этого сервер не должен впритык упираться в заднюю стенку шкафа, поскольку для отведения потоков нагретого воздуха требуется некоторое пространство. Говорим в большей степени о телекоммуникационном шкафе, а не стойке, поскольку только шкаф может организовать движение воздушных потоков из холодного коридора ЦОДа в горячий.
Стандарт TIA/EIA-942 рекламентирующий инфраструктуру ЦОДов, в п. 5.11.7.4 дает следуюущее рекомендацию для глубины телекоммуникационного шкафа: “Следует применять шкафы достаточной глубины для того, чтобы в них помещалось планируемое оборудование, а также кабели, присоединяемые с фронта и/или тыла оборудования, шнуры питания, кабельные организаторы и панели подвода питания. С тем, чтобы обеспечить необходимый поток воздуха и предусмотреть достаточное пространство для подвода питания и кабельной разводки, используйте шкафы, которые по крайней мере на 150 мм (6 дюймов) глубже или шире оборудования, имеющее наибольший размер по глубине”.
Приведем для примера цифры одного из производителей:
- Шкаф 1070 мм имеет максимальное внутреннее пространство для оборудования 995 мм.
- Шкаф 1200 мм имеет максимальное внутреннее пространство для оборудования 1147 мм.
Российский ГОСТ 28601.2 (МЭК 297-2) “Шкафы и стоечные конструкции” регламентирует конструкцию шкафов в общем виде, указывает на максимальную глубину шкафа в 1000 мм и не дает советов по монтажу оборудования.
Ниже показана схема шкафа, способного разместить оборудование 900 мм глубиной.
Поясняет ситуацию следующий пример. У нас периодически заказывают или приносят для размещения в ЦОДе серверную платформу ASUS ESC4000 G4S 2200W, используемую для широкого круга задач (причем не в области Artificial intelligence), которая в зависимости от требований заказчика она комплектуется необходимыми компонентами. Но эта платформа имеет глубину ровно 800 мм и устанавливать ее в шкаф такой же глубины 800 мм нельзя.
По умолчанию наши телекоммуникационные шкафы имеют либо метровую глубину, либо 1200 мм, что исключает вопросы клиентов о том, войдет ли их сервер в стойку или нет.
Помимо серверов в стойках повышенной глубины нуждаются и системы хранения данных (СХД):
До данным аналитического агентства IDC На рынке серверов искусственного интеллекта в 2020 году было 6 компаний, заработавших более $500 млн (в алфавитном порядке): Dell, HPE, Huawei, IBM, Inspur и Lenovo. Вместе они занимали 62% рынка. На рынке систем хранения ИИ также было 6 компаний, каждая из которых продала более $100 млн (в алфавитном порядке): Dell, HPE, Hitachi, Huawei, IBM и NetApp. Их суммарная рыночная доля составила 68%”.
Дополняют вышесказанное такие понятия, как “глубина” и “полезная глубина” шкафа. Под глубиной понимается внешний габарит конструкции. А под полезной глубиной – расстояние между вертикальными направляющими шкафа или стойки. Полезная глубина меньше на толщину двери с петлями и ручкой замка, а также задней стенки. Разница всего в несколько сантиметров, но и ее надо учитывать, поскольку только полезная глубина принимается во внимание при размещении полного комплекта оборудования.
“Негабаритные” понятия: вес, мощность, площадь и рынок
Важный аспект, который нужно учитывать при размещении оборудования в телекоммуникационном шкафу – нагрузка, которую он может нести. Сервер или система хранения данных могут весить несколько десятков килограмм. К примеру, указанная в таблице СХД DEPO Storage 5900 весит 97 кг. Шкафы повышенной глубины естественно рассчитаны на большую “грузоподъемность” – от 800 кг до 1,5 тонн в статическом режиме, т.е. на винтовых опорах. (Ролики выдерживают нагрузку от 40 до до 150 кг каждый, поэтому перемещать шкаф нужно без оборудования или полупустым и только после окончательной установки его на месте размещать оборудование).
Серверы под искусственный интеллект имеют мощность в несколько киловатт. Один только указанный выше NVIDIA DGX A100 потребляет 6,5 кВт. Здесь “обычные” 3-5 кВт на стойку недостаточны. Подобные серверы и СХД устанавливаются в шкафах с энергопотреблением высокой плотности – в районе 15 кВт и выше. В этих шкафах нередко устанавливают дополнительное оборудование для теплоотведения. Естественно все сопутствующие системы, электрораспределительные устройства и кабельная разводка, приточные и вытяжные воздуховоды требуют пространство для размещения и монтажа.
Понятно, что шкаф большой глубины в дата-центре занимает и большую площадь. Приходится сужать коридоры, что вызывает тесноту и трудности в обслуживании сток инженерами, либо делать ряды со шкафами шире, что сокращает количество стоек в машинном зале, а место в зале весьма дорогое. Но если есть запрос на размещение серверов под ИИ, то его надо удовлетворить.
Прежде чем закончить статью скажем несколько слов о необычных, если так можно сказать, достижениях нейросетей: ИИ научился обманывать, (а тест Тьюринга прошел еще в 2014 году), обыграл чемпиона игры Го и обыгрывает в другие игры, в том числе компьютерные, получил обоняние, обогнал человека в распознавании образов, научился рисовать, сочиняет музыку и пишет тексты (этот пока еще написан белковым существом), помогает подобрать кликабельную картинку, и в качестве страшилки – дает советы человеку по принятию решений на поле боя.
Приводим еще один прогноз IDC: “2022 году рынок ИИ продолжит ускоряться с ростом на 18,8% и будет на пути отметке в $500 млрд к 2024 году, при этом AI Hardware будет расти самыми быстрыми темпами в следующие несколько лет.
Если говорить о российских реалиях, то интересна следующая цифра: 72% студентов хотели бы стажироваться в сфере искусственного интеллекта.
И в заключении приводим небольшое видео, демонстрирующее ряд шкафов большой глубины – камера передвигается вдоль торца, поэтому глубина воспринимается как ширина.
Публикация подготовлена компанией ITSOFT. Размещение и аренда серверов и стоек в двух ЦОДах в Москве; colocation GPU-ферм и ASIC-майнеров, аренда GPU-серверов. Лицензии связи, SSL-сертификаты. Администрирование серверов и поддержка сайтов. UPTIME за последние годы составляет 100%.
