Производители оборудования каждый день засыпают нас новостями о новинках и изменениях в продуктах. Для того, чтобы оставаться на волне, мы в Selectel следим за этими новостями, а подходящее и актуальное железо внедряем и используем в наших дата-центрах.
Мне показалось интересным рассмотреть ряд «железных» новостей, а также кратко рассказать об опыте и планах использования некоторых новинок.
Заинтересовало? Тогда приглашаю под кат.
Более полугода назад Intel и AMD практически одновременно представили новые линейки серверных процессоров Xeon Scalable 4th (Sapphire Rapids) и EPYC 9004 (Genoa). Неудивительно, что большая часть новостей так или иначе связана с этими комплектующими.
AMD представили две новых группы процессоров: EPYC Bergamo и EPYC Genoa-X.
В первом случае с Bergamo число ядер выросло до 128 против ранее представленных максимальных 96 в AMD EPYC 9654 Genoa. Процессоры предназначены для использования в серверах облачных провайдеров, обладают высокой энергоэффективностью. В нашем случае мы рассматриваем TDP, поскольку чем он меньше, тем легче охладить такой сервер.
Сейчас в Selectel мы предлагаем арендовать сервер с процессорами AMD EPYC 7763 с 64 ядрами на борту, и двукратный рост ядер в платформе впечатляет. В ближайшем будущем планируем предложить нашим клиентам как упомянутые AMD EPYC 9654 с 96 ядрами, так и AMD EPYC 9754 с 128ю, активно проводим тестирование таких платформ. 256 ядер в двухсокетной системе с 512 потоками — позавидует любое многопоточное приложение.
Также были представлены процессоры с увеличенным объемом кэша:
Однако такое железо, по оценке экспертов, требуется только для узкоспециализированных задач. Если у вас есть интересные кейсы для процессоров с увеличенным кэшем, — напишите, пожалуйста, в комментариях.
Серверные платформы
Платформы Asus для 8 GPU
Начну с настоящего хардкора, платформа ESC N8-E11 от Asus. Целых 7 юнитов, до 8 GPU NVIDIA H100, соединенными NVLink. Всё это под управлением процессоров Intel Xeon Scalable 4th с 32 слотами для памяти DDR5. В платформу можно установить до десяти 2.5 дисков + 4 диска M.2, а «сухой» вес стартует от 99 кг. Размер впечатляет.
Надеюсь, что в России появятся клиенты, готовые загрузить своими моделями такое оборудование.
Вариант попроще: четырехюнитовая ESC8000-E11P для 8 GPU, в том числе для A100 с жидкостным охлаждением. Аналогично работает с процессорами Intel Xeon Scalable 4th, имеет 32 слота для памяти DDR5, 1 слот для M.2 и 8 слотов для дисков формата 3.5. Вес от 27 кг, почувствуйте разницу! А для конкурента от AMD EPYC 9004 появилась аналогичная платформа ESC8000A-E12P.
Сейчас в качестве предшественника мы используем 4U платформу Asus ESC8000A-E11 для семейства процессоров AMD 7003, поддерживающую до 8 GPU. Самый популярный вариант сборки: 8 GPU A100 40 Гбайт + 2 процессора AMD EPYC 7513 (32×2.6 GHz SMT), оптимальное сочетание по числу ядер процессора и ресурсам GPU.
Платформы Asus для 4 GPU
Младшие братья предыдущих платформ ESC4000-E11 для Intel Xeon Scalable 4th и ESC4000A-E12 для AMD EPYC 9004. В них возможно установить до 4 GPU, 2 процессора, 16 или 12 модулей памяти DDR5 соответственно. В зависимости от SKU от 4 до 6 корзин для дисков.
Выделенные серверы с 4GPU также используются в Selectel, в настоящее время мы предлагаем 7049GP-TRT от Supermicro, а самое популярное сочетание с GPU A5000 и Nvidia A2.
Как в случае с платформами на 8 GPU, так и на 4 GPU, планируем переход на платформы для новых процессоров.
Платформы для Intel Xeon Scalable 4th и AMD EPYC 9004
ASUS и TYAN представили 1U и 2U платформы, аналогично удовлетворяя требования сегмента новых серверных процессоров Intel Sapphire Rapids и AMD Genoa. Такие платформы позволяют разместить до 20 дисков.
Микроклауд для Ryzen
Supermicro представили AS-3015MR-H8TNR для десктопных AMD Ryzen 7000. Не секрет, что такие процессоры используют провайдеры выделенных серверов. В представленной трехюнитовой модели возможно разместить 8 лезвий, однако применяемость процессора ограничена TDP в 170 Вт. В каждом лезвии 2 хотсвапные корзины для дисков и один слот M.2. Память DDR5 реализуется в четырех слотах UDIMM, поддерживается коррекция ошибок ECC, однако максимальный объем RAM для таких процессоров ограничен 128 ГБ.
Память DDR5
Micron анонсировали 96 ГБ-модули оперативной памяти DDR5-4800 RDIMM. Напомню, что уже упомянутые линейки новых серверных процессоров Scalable 4th и 9004 работают именно с таким типом памяти: DDR5.
В нашем случае мы традиционно используем модули на 32, 64 и 128 ГБ, но и такой размер, как 96 ГБ, думаю, что найдет свое применение.
HDD диски
Seagate обещает в будущем выпустить HDD диски объемом до 40 ТБ. Интересное решение, с учетом того, что сейчас, пожалуй, самый емкостный формат 18 ТБ. Конечно, такой диск существенно увеличивает возможности хранения данных на одной платформе. Однако все будет зависеть от цены устройства и соответствующей цены в пересчете на ТБ дискового пространства.
GPU
AMD представило две новых модели GPU: Instinct MI300A и MI300X. Из заявленных характеристик впечатляет объем памяти в устройствах: 128 ГБ HBM3 и 192 ГБ. Такие устройства предназначены для работы с большими моделями. В наших исследованиях ML-команды делятся неудобствами ограничения максимального размера памяти 40 Гбайт в A100, которые мы предлагаем сейчас. Однако не памятью единой, такого количества решений и софта, как для NVIDIA, не побоюсь предположить, что больше нет ни у кого из производителей GPU. Тем интереснее, что сможет предложить AMD кроме аппаратной части.
Apple MAC
Apple анонсировала новые MAC Pro в том числе в стоечном исполнении:
С процессором Apple M2 Ultra с 24 ядрами на борту (16 производительных и 8 энергоэффективных). В платформе GPU с 60-76 ядрами, а также нейромодуль с 32 ядрами. Память до 192 ГБ и диски SSD до 8 TБ. Предвосхищаю производительность таких систем.Отмечу, что в выделенных серверах есть успешный опыт работы конфигураций MAC mini c чипом M1, которые используются для разработки, отладки и тестирования приложений для Mac OS. Смотрим в сторону новых решений от Apple в наших дата-центрах.
Также анонс этого железа означает полный переход Apple на ARM платформу. В актуальной линейке больше не останется девайсов на x86 архитектуре.
В качестве «взрослого ARM» мы внедрили платформу с процессором Ampere Altra Max M128 и верим, что за ARM будущее.
СХД
В двух словах о новой СХД NAS U8-450 от TerraMaster с максимальной вместимостью до 160 Тбайт на процессорах Intel Atom C3558R под управлением операционной системы Tos 5. Позиционируется как СХД для редактирования изображений, видео, СУБД и виртуализация.Востребованный сегмент оборудования, на который имеется спрос на российском рынке. В Selectel предоставляем такую услугу по запросу клиента.
Заключение
Сложность выбора железа под проект состоит в том, чтобы построить IT-инфраструктуру, которая без проблем справлялась бы с нагрузкой, а серверы в то же время не простаивали без работы. В следующем месяце мы продолжим знакомить вас с новинками рынка. Надеюсь, что дайджест был полезен. Если вы хотите, чтобы мы рассказали про какое-то новое железо, которое не вошло в статью, обязательно напишите об этом в комментариях, обсудим.
