Релиз серверных процессоров AMD EPYC Turin с 192 ядрами на каждый

Релиз серверных процессоров AMD EPYC Turin с 192 ядрами на каждый

Целое десятилетие Лиза Су стоит у руля AMD, и за это время она не просто вывела компанию из кризиса, а превратила её в настоящего лидера рынка. Под её руководством AMD из аутсайдера превратилась в серьезного игрока на рынке серверных процессоров, где Intel в итоге приходится играть роль даже не догоняющих за AMD, а с учётом их текущего состояния – бороться за выживание изо всех сил.

И вот, наконец-то случилось долгожданное всеми кто следит за рынком серверного железа – 10 октября AMD представила свои новые серверные процессоры серии EPYC 9005 Turin. Хотите 384 потока на процессор? Пожалуйста, вот вам Epyc на 192 ядра, разве что с нюансом, унаследованным с линейки EPYC 9004 «Bergamo» – энергоэффективные ядра Zen5C с меньшим числом кэша, всё во славу многопотока и запихивания как можно большего числа ядер на один кристалл. Также были представлены и 128-ядерные варианты с полноценными Zen5 ядрами и аж полугигабайтом L3 кэша.

Впрочем, есть о чём поговорить за пределами одних только ядер с кэшем и подробнее о всех нововведениях поговорим ниже в посте.

Будет жарко

Новые процессоры показывают впечатляющий рывок в производительности в сравнение с предшественниками – +17% в облачных задачах и +37% в работе с нейронками, при этом за достаточно скромную цену. От 527$ долларов за модель на 8 ядер и 14800$ за 192 ядерного монстра, пусть и с маленькими ядрами. 

Однако, увеличение числа ядер и плотности транзисторов неизбежно ведет к росту TDP. Несмотря на уменьшение техпроцесса до 3 и 4 нанометров, площадь процессора осталась прежней. В результате выходит нетривиальная задача – как эффективно отвести 0.5kW тепла при относительно небольшой площади контакта?

Рост IPC в новом поколении AMD EPYC Turin.
Рост IPC в новом поколении AMD EPYC Turin.

Такой уровень тепловыделения может ознаменовать переход серверного сегмента в эпоху водяного охлаждения. Возможно, скоро мы увидим топовые модели EPYC, поставляемые с интегрированными системами жидкостного охлаждения. А что касается классических воздушных систем охлаждения в серверах формата 1U — кажется, инженерам придется изрядно поломать голову, чтобы вместить туда достаточно мощный радиатор.

Готовящийся к выходу сервер с EPYC 9965, как можно заметить тут используется жидкостное охлаждение.
Готовящийся к выходу сервер с EPYC 9965, как можно заметить тут используется жидкостное охлаждение.

Но давайте посмотрим на это с другой стороны. Серия EPYC 9005 предлагает серверные решения с исключительной производительностью. Например, двухсокетные серверы с процессорами AMD EPYC 9965 обеспечивают в 1.7 раза большую производительность на ватт системы, чем процессоры Intel Xeon 8592+ при запуске теста SPECpower.

Более того, замена 100 старых серверов на базе двухсокетных Intel Xeon 8280 всего 14 новыми серверами с AMD EPYC 9655 может обеспечить сравнимую производительность, используя при этом до 86% меньше серверов и потребляя на 69% меньше энергии. Для достижения того же уровня производительности потребовалось бы 35 серверов на базе Intel Xeon 8592+. А вот на счёт 6 поколения Intel Xeon, данных AMD в своих брошюрах не привели, что странно.

Так что да, процессоры горячие, но они позволяют значительно сократить количество серверов и общее энергопотребление дата-центра при той же или даже большей вычислительной мощности. А как конкретно OEM-производители серверов будут решать вопрос охлаждения всей этой мощи, мы узнаем уже скоро.

Слайд повествующий о возможностях Turin на архитектурах Zen5 и Zen5C.
Слайд повествующий о возможностях Turin на архитектурах Zen5 и Zen5C.

Zen5 — мощь в чистом виде

Новая архитектура Zen5 – это не просто очередной шаг, а настоящий прыжок вперёд. AMD умудрились не только запихнуть больше транзисторов на кристалл, но и серьезно оптимизировать их работу. Результат? Частоты до 5 ГГц, что для серверного процессора звучит скорее сомнительно, так как производимые этими 5ГГц тепло нужно будет куда-то рассеять и все ядра вряд ли смогут одновременно работать на такой частоте. А одноядерная производительность, не столь важна в серверном сегменте, как многопоточность, хотя, для тех же баз данных это пожалуй имеет смысл.

Представление чиплетной компоновки Turin Classic и Turin Dense.
Представление чиплетной компоновки Turin Classic и Turin Dense.

Zen5C — плотность и эффективность

Но AMD решили, что этого мало. Поэтому появилась Zen5C – младший брат большого Zen5, но с серьезными амбициями. Меньше кэша, зато влезает больше ядер. И вот уже у нас 192 ядра в одном процессоре. Конечно, они не такие мощные как полноценные Zen5, но когда дело доходит до многопоточных задач – тут уже не до жиру, быть бы живу, и количество берёт верх над качеством.

Zen5C CPU кристалл содержит 16 ядер, каждое с 1МБ L2 кэша и общим 32МБ L3 кэшем. Для создания процессоров с более чем 128 ядрами, до 12 таких кристаллов могут быть подключены к I/O кристаллу, что в итоге дает до 192 ядер на процессор для сверхплотных высокопроизводительных систем.

Внешний вид процессоров EPYC 9965 с 192 физическими ядрами и 384 потоками.
Внешний вид процессоров EPYC 9965 с 192 физическими ядрами и 384 потоками.

Память и шины – всего побольше

А что на счёт оперативной памяти? Здесь у новых Epyc всё тоже хорошо, но без фантастики. Поддерживается DDR5 с частотами 6400 МГц с 12 каналами. Так к примеру конкретно EPYC 9005 поддерживает до 6 ТБ DDR5-6000 памяти, что обеспечивает максимальную теоретическую пропускную способность 576 ГБ/с на сокет. Что наиболее заметно скажется на приложениях чувствительных к пропускной способности оперативной памяти, к примеру in-memory базы данных.
И раз уж заговорили про пропускную способность, отметим ещё 160 линий PCI-E 5.0, чтобы шина обмена данными точно не была бутылочным горлышком при подключение новых серверных GPU.

Серверная система на базе EPYC 9005.
Серверная система на базе EPYC 9005.

EPYC vs Xeon

Прямыми конкурентами новых EPYC выступают вышедшие чуть раньше процессоры от Intel – Xeon 6700E и 6900P. Но AMD в который раз не даёт синему коллеге и шансов на победе. Больше ядер, выше частоты, современнее память – EPYC 9005 превосходят Xeon 6 поколения во всём. Особенно это заметно в задачах, связанных с AI, где EPYC показывает себя настоящим монстром производительности.

По оценкам AMD, двухсокетные серверы с 192-ядерными EPYC 9965 демонстрируют на 2.68x более высокую пропускную способность по сравнению с 64-ядерными Intel Xeon 8592+ при запуске SPECrate2017_int_base.

Превосходство в бизнес-нагрузках

Когда дело доходит до реальных бизнес-приложений, EPYC 9005 также демонстрирует впечатляющие результаты. При использовании двухсокетных серверов на базе 192-ядерных AMD EPYC 9965 достигается в 2.2 раза больше критических jOPs в Multi-JVM по сравнению с 64-ядерными Intel Xeon 8592+ при запуске бенчмарка SPECjbb2015-MultiJVM.

Для MySQL нагрузок, основанных на бенчмарке TPC-C, двухсокетные серверы на базе 192-ядерных AMD EPYC 9965 обеспечивают до 2.9 раз больше транзакций в секунду по сравнению с 64-ядерными Intel Xeon 8592+.

 Результаты теста SPECjbb2015-MultiJVM для AMD EPYC 9965.
 Результаты теста SPECjbb2015-MultiJVM для AMD EPYC 9965.

AI – попытка запрыгнуть в уходящий поезд?

Отдельно стоит отметить, как AMD позиционирует свои новые процессоры для задач искусственного интеллекта. EPYC 9005 не просто поддерживает AI-вычисления, он становится настоящим фундаментом для создания мощных AI-систем. Возможность подключить кучу специализированных ускорителей через PCI-E 5.0, combined с огромным количеством ядер и быстрой памятью, делает эти процессоры идеальным выбором для создания инфраструктуры под самые требовательные AI-приложения.

EPYC 9005 обеспечивает до ~2.7x более высокую пропускную способность при выполнении задач ИИ-инференса, таких как XGBoost на наборе данных бозона Хиггса, по сравнению с Intel Xeon 8592+. Это делает их отличным выбором для широкого спектра ИИ-задач, от классификации изображений до обработки естественного языка.

Зачем и кому это нужно, когда возможности инференса на GPU, либо NPU/TPU на порядки превосходят таковые даже у самых многоядерных процессоров – традиционно оставили загадкой.

Оптимизация для GPU-систем

Впрочем, новые процессоры по настоящему хороши как дополнения для мощных видеокарт в задачах связанных с AI. AMD оптимизировала некоторые модели EPYC 9005 для использования в качестве хост-процессоров в системах с GPU. Например, при использовании двух высокочастотных AMD EPYC 9575F в качестве хоста для 8 GPU-ускорителей достигается на ~15% более быстрое время обучения по сравнению с двумя Intel Xeon 8592+ при запуске Llama 3.1-8B.

Портфолио компании ASRock Rack на базе EPYC 9005.
Портфолио компании ASRock Rack на базе EPYC 9005.

Красный путь к инновациям

Процессоры AMD EPYC разделили блоки с ядрами CPU и функций ввода-вывода на разные кристаллы, которые могут разрабатываться по своим собственным графикам и производиться с использованием технологических процессов, соответствующих задачам, которые они должны выполнять. От поколения к поколению размер кристаллов CPU уменьшался по мере развития технологии фотолитографии. Сегодня ядра ‘Zen 5’ производятся по 4-нм технологии, ядро ‘Zen 5c’ производится по 3-нм технологии, а кристалл ввода-вывода остается на 6-нм технологии с предыдущего поколения.

Реализация межпроцессорной связи в двухсокетной системе на базе EPYC Turin.
Реализация межпроцессорной связи в двухсокетной системе на базе EPYC Turin.

Этот подход более гибкий и динамичный, чем попытка построить все функции процессора с использованием одной технологии изготовления. При модульном подходе мы можем смешивать и сочетать кристаллы CPU и ввода-вывода для создания специализированных процессоров, которые точно соответствуют требованиям рабочей нагрузки. Они варьируются от высокопроизводительных процессоров с 192 ядрами до процессоров для масштабируемых систем, требующих всего восемь ядер.

Итого, что имеем в сухом остатке?

AMD в очередной раз доказала, что может не просто конкурировать с Intel, а задавать тон на рынке серверных процессоров. Тенденция осталось прежней как и в прошлые поколения, но масштабы стали больше – больше транзисторов, больше ядер, больше кэша, но и больше тепловыделения.
Что ж, ждём теперь, когда новые EPYC начнут появляться в дата-центрах по всему миру. А там, глядишь, и до наших серверов в ServerFlow доберутся. Главное – не забыть обновить систему кондиционирования в серверной комнате. А то как бы с 0.5 киловатта на процессор не получить сауну вместо серверной.
Загадкой разве что остаётся то, чем на это ответят Intel? И как скоро, опять прямо перед выходом новых, превосходящих их Xeon по всем фронтам EPYC? Да и доживёт ли Intel вообще к моменту выхода новых EPYC? Приглашаем всех в комментарии, чтобы обсудить это!

 

Источник

Читайте также