Чипы на киловатт: изменения в теплопроводности

Чипы на киловатт: изменения в теплопроводности
Производительность чипов растёт экспоненциально по закону Мура и не думает останавливаться. Но вместе с ней растёт и энергопотребление, и тепловыделение микросхем. В 2023 году с появлением суперчипов GH200 (на КДПВ) ускорители перешли киловаттный диапазон. И это очень большая проблема. Инженерам приходится принимать неординарные решения по теплоотводу.

Для подтверждения примерно геометрического роста вычислительной мощности и энергопотребления чипов посмотрим на показатели некоторых CPU за последние пару десятилетий (ограничимся процессорами Intel). Если помните, до некоторых пор процессоры вообще работали без вентиляторов:

Процессор Год выпуска Тактовая частота, макс. TDP, макс.
80386DX 1985 33 МГц 1,95 Вт
80486DX 1989 50 МГц 5 Вт
Pentium 66 1993 66 МГц 16 Вт
Pentium II 1997 300 МГц 43 Вт
Pentium III 1999 600 МГц 34,5 Вт
Celeron 2000 2,5 ГГц 35 Вт
Pentium 4 2000 2 ГГц 100 Вт
Core 2 2007 2,2 ГГц 65 Вт
Core i7 EE 2008 3,2 ГГц 130 Вт
Core i7-3970X 2011 3,5 ГГц 150 Вт
Core i7-5960X 2014 3,5 ГГц 140 Вт
Core i7-8086K 2018 5 ГГц 95 Вт
Core Ultra 9 2023 5,1 ГГц до 115 Вт

Pentium III

С какого-то момента пальма первенства в росте вычислительной мощности и энергопотребления перешла скорее к GPU. По крайней мере, здесь эти показатели растут более явно в геометрической прогрессии, в то время как у CPU в последние годы тенденция не прослеживается настолько же чётко (опять, ограничимся только картами Nvidia GeForce для наблюдения общего тренда):

Видеокарта Год выпуска Производительность, TFLOPS TDP, макс.
8500 GT 2007 0,04 TFLOPS 45 Вт
8800 Ultra 2007 0,58 TFLOPS 171 Вт
9800 GX2 2008 1,15 TFLOPS 197 Вт
GTX 295 2009 1,8 TFLOPS 289 Вт
GTX 590 2011 2,5 TFLOPS 365 Вт
GTX 690 2012 6,3 TFLOPS 300 Вт
GTX 1080Ti 2017 11,3 TFLOPS 250 Вт
RTX 3070 2020 20,3 TFLOPS 220 Вт
RTX 3080 2020 29,8 TFLOPS 320 Вт
RTX 3090 2020 35,6 TFLOPS 350 Вт
RTX 4080 2022 48,8 TFLOPS 320 Вт
RTX 4090 2022 82,6 TFLOPS 450 Вт

Можно добавить к этой таблице несколько видеоускорителей, предназначенных конкретно для вычислений в области ИИ:

Ускоритель Дата выпуска Производительность (fp32) TDP
P100 2016 10,61 TFLOPS 300 Вт
V100 2018 14,9 TFLOPS 300 Вт
A100 2020 19,5 TFLOPS 250 Вт
A10 2021 31,24 TFLOPS 150 Вт
H100 2022 66,9 TFLOPS 700 Вт
H200 2024 67 TFLOPS 700 Вт

Конечно, «закон Мура» более чётко виден в росте производительности, в то время как показатели энергопотребления иногда снижаются от старой к новой модели, за счёт уменьшения размера транзисторов и соответствующей оптимизации. Но так или иначе, есть некоторая тенденция к росту, особенно с последними моделями ускорителей H100 и H200.

Если посмотреть на большинство современных сверхмощных систем, то многие из них тоже преодолели барьер 500 Вт, а некоторые и 1000 Вт, как MGX ARS-111GL-NHR от Supermicro, пишет The Register.


Supermicro MGX ARS-111GL-NHR

Все они, в основном, имеют воздушное охлаждение. Хотя чипы сильно разогреваются, но тепловая нагрузка вполне приемлема и составляет около 21−24 кВт на стойку. Это вполне соответствует возможностям современных центров обработки данных.

▍ Жидкостное охлаждение

Однако ситуация меняется, когда производители систем начинают устанавливать в каждое шасси ускорители с тепловыделением более киловатта. В этот момент большинство OEM-систем переходят на прямое жидкостное охлаждение. Например, в сервере Gigabyte H263-V11 устанавливается до четырёх узлов Nvidia GH200 Grace Hopper в одном корпусе 2U.


Gigabyte H263-V11

Сервер Gigabyte H263-V11 поддерживает до 480 ГБ памяти LPDDR5X ECC на модуль, а также до 96 ГБ графической памяти HBM3 (или 144 ГБ GPU HBM3e) на модуль, совместим с Nvidia BlueField-3 DPU, имеет восемь портов LAN 10Gb/s на Intel X550-AT2, порт CMC, 16 разъёмов горячей замены накопителей 2,5″ Gen5 NVMe, восемь слотов M.2 с интерфейсом PCIe Gen5 x4, четыре разъёма FHHL PCIe Gen5 x16, а также оснащён блоком питания Triple 3000W 80 PLUS.

Система вроде DGX H100 с воздушным охлаждением от Nvidia с восемью 700-ваттными H100 и двумя процессорами Sapphire Rapids имеет более высокий TDP (10,2 кВт), но на самом деле она менее энергоёмкая — всего 1,2 кВт на единицу.

Nvidia DGX H100 (на фото) — мощная система искусственного интеллекта, ускоренная высокопроизводительным графическим процессором Nvidia H100 с тензорными ядрами. Это четвёртое поколение первой в мире специализированной инфраструктуры ИИ, полностью оптимизированная аппаратная и программная платформа, включающая поддержку программных решений Nvidia для искусственного интеллекта. DGX H200 — следующее поколение этой системы, которое недавно появилось на рынке.

Новейший чип H200 хотя и показывает такую же производительность в вычисления fp32, но компания заявляет значительный рост производительности в специализированных приложениях, таких как вывод моделей Llama2 70B (1,9 раза) и GPT-3 175B (1,6 раза):

У жидкостного охлаждения есть несколько преимуществ, помимо более эффективного отвода тепла от этих плотно упакованных ускорителей. Чем выше мощность системы, тем больше статическое давление и поток воздуха, необходимые для отвода тепла от системы. Это означает использование более горячих и быстрых вентиляторов, которые потребляют больше энергии — в некоторых случаях до 20% мощности системы.

При мощности свыше 500 Вт на стойку большинство OEM-производителей предпочитают использовать шасси с жидкостным охлаждением.

Достаточно взглянуть на блейды Cray EX254n от HPE, чтобы понять, как много даёт шасси с жидкостным охлаждением:

Cray EX254n для ускорения задач ИИ поставляется вместе с ускорителями Nvidia NextGen 96GB GPU 128GB LPDDR. Платформа может поддерживать до четырёх GH200. Это потенциально 4 кВт мощности в вычислительном блоке высотой 1U, даже не считая сетевых карт.

Конечно, сотрудники подразделения Cray компании HPE знают толк в охлаждении сверхплотных вычислительных компонентов. Однако это наглядно демонстрирует, насколько продуманно производители систем подходят к созданию своих серверов, причём не только на уровне систем, но и на уровне стоек.

Если попытаться заполнить стойку ускорителями вроде Nvidia DGX H100 в блейдах, нужно учитывать мощность стойки и охлаждение объекта, пишет The Next Platform.

Во многих случаях хостерам и операторам дата-центров приходится перестраивать инфраструктуру электропитания и охлаждения, чтобы обеспечить 40 с лишним киловатт мощности и теплоотвода, необходимых для установки четырёх систем DGX H100 в одну стойку.

Но если ЦОД или хостер не может справиться с тепловыделением, то нет смысла пытаться сделать системы большой вычислительной плотности, потому что большая часть стойки будет пустовать.

С выпуском GH200 эксперты обращают внимание, что Nvidia уделяет меньше внимания отдельным системам и больше — развёртыванию в масштабах стойки. Впервые это можно было заметить на выставке Computex весной 2023 года с кластером DGX GH200. Эта система состоит из 256 узлов высотой 2U, в каждом из которых установлен один ускоритель GH200:

В совокупности система способна выдавать эксафлопс производительности fp8. Вместо 1,2 кВт на единицу мощности теперь можно рассчитывать на 500 Вт на единицу, что как раз соответствует уровню большинства OEM-производителей, использующих собственные системы воздушного охлаждения.

Осенью прошлого года Nvidia представила уменьшенную версию этой системы в одной стойке: GH200-NVL32:

Эта система объединяет в одной стойке 16 модулей 1U, каждый из которых оснащён двумя узлами GH200, и соединяет их вместе с помощью девяти коммутационных разъёмов NVLink. Нет необходимости говорить о том, что при мощности вычислений 2 кВт на юнит это очень горячие системы. Поэтому они изначально спроектированы с жидкостным охлаждением.

▍ Ещё более горячие чипы

Nvidia — не единственный производитель микросхем, который бьёт рекорды по TDP в погоне за производительностью и эффективностью.

В декабре AMD рассказала о своих новейших GPU и APU для ИИ и высокопроизводительных вычислений, в которых показатель TDP ускорителей Instinct подскочил с 560 Вт до 760 Вт. Это ещё не киловатт, как у GH200, но всё равно значительное увеличение.


Судя по всему, это далеко не предел технического прогресса, и в будущем мы будем наблюдать дальнейший рост мощности ускорителей, а также тепловыделения. Пока охлаждение справляется с теплоотводом, производители чувствуют возможность увеличивать TDP.

Возможно, через несколько лет жидкостное охлаждение станет стандартом для топовых графических ускорителей. Например, AMD собирается изначально поддерживать как воздушное, так и жидкостное охлаждение на своих платформах. Но на примере нового APU AMD MI300A мы видим, что выбор в пользу воздушного охлаждения почти наверняка приведёт к снижению производительности.

Номинальная мощность MI300A составляет 550 Вт, но при адекватном охлаждении он может разгоняться ещё больше. Так, в специализированных системах для высокопроизводительных вычислений чип можно настроить на работу при 760 Вт.

Тем временем, Intel уже изучает новые методы охлаждения 2-киловаттных чипов с помощью двухфазных охлаждающих жидкостей и радиаторов. Технология копирует природный метод, как кораллы образуют пузырьки в морской воде:


В резервуаре с синтетическим неэлектропроводящим маслом находятся 24 сервера на базе Intel Xeon, см. фото выделения пузырьков

Компания Intel также объявила о партнёрстве с поставщиками инфраструктуры и химикатов для расширения использования технологий жидкостного охлаждения. Последние действия направлены на разработку решения для охлаждения предстоящего ускорителя Intel Guadi3 AI с использованием технологии двухфазного охлаждения Vertiv.

В то же время появляются и принципиально новые методы охлаждения микросхем, как термоэлектрическое охлаждение на основе эффекта Пельтье:

Исходя из технического описания, оно пока не способно снимать много ватт с поверхности чипов, но всё равно это довольно перспективная технология пассивного охлаждения.

Судя по нынешним темпам развития технологий, теплоотвод с микросхем станет в будущем одной из самых важных технологических задач и для производителей чипов (они должны минимизировать тепловыделение), и для поставщиков хостинг-услуг и операторов дата-центров.

Telegram-канал со скидками, розыгрышами призов и новостями IT 💻


 

Источник

Читайте также