Конец эпохи тензорных ядер: почему память станет непреодолимым барьером для ИИ-ускорителей

Разработчики чипов для искусственного интеллекта неуклонно расширяют арсенал тензорных ядер и внедряют компактные форматы вроде FP8 и FP4. Общая скорость расчетов впечатляет, однако на пути к пиковой производительности возникает серьезное препятствие. Вычислительным модулям необходим постоянный приток параметров модели и промежуточных массивов. Если подсистема памяти не справляется, передовой кремниевый чип с миллиардами транзисторов попросту простаивает.

Компания Samsung намерена разрешить эту проблему с помощью стандарта HBM5, судя по заявкам, обещающего вдвое превзойти HBM4E по быстродействию и прибавить 20% к энергетической эффективности. За счет 4096-битной шины пропускная способность единичного стека в перспективе способна достичь отметки в 4 ТБ/с. Давайте детально изучим эту технологию.

Когда процессору не хватает пропускной способности

Современная языковая модель представляет собой колоссальный массив числовых констант. В ходе работы их извлекают из памяти, отправляют на вычислительные блоки, задействуют в матричной арифметике и сохраняют промежуточные выкладки. Этот цикл повторяется для каждого глубокого слоя и генерируемого токена.

Допустим, кристалл получил вдвое больше тензорных ядер, что номинально удваивает его потенциал. Но реальная скорость возрастет лишь при условии полной загрузки этих ядер. Если пропускная способность шины данных окажется недостаточной, часть логики погрузится в простой. Усложнение и удорожание процессора при этом не принесут ожидаемого ускорения инференса.

Крайне важна и интенсивность вычислений — соотношение операций к объему пересылаемых байтов. Если единожды загруженный фрагмент активно переиспользуется, все упирается в вычислительный потенциал. Но когда параметры считываются заново непрерывным потоком, узким горлышком становится именно память, и добавление новых ядер теряет смысл.

Эта коллизия особенно заметна при посимвольной генерации текста. Создавая каждый новый токен, акселератор обязан заново сканировать все слои сети для подгрузки весов. Конечно, веса кэшируются, но при низкой интенсивности параллельных запросов это не спасает. В результате темп генерации сдерживается не кремниевыми ядрами, а пропускной способностью памяти.

По мере разрастания контекста увеличивается и KV-кэш, содержащий ключи и значения для уже обработанных фрагментов текста. Чем масштабнее диалог или документ и чем выше параллелизм запросов, тем массивнее поток информации, требующий чтения. Следовательно, важен не только абсолютный объем, позволяющий вместить модель, но и скорость ее опроса.

Разумеется, инженеры применяют кэширование, префетчинг и переходят на форматы вроде FP8 или FP4. Но SRAM-память занимает слишком много места на кристалле, чтобы хранить там гигабайты весов. Пониженная разрядность сокращает трафик, однако сами модели и контексты растут еще быстрее, мгновенно поглощая освободившиеся ресурсы.

Эволюция интерфейса HBM: от 1024 к 2048 бит

Классическая оперативная память DDR взаимодействует с центральным процессором через относительно узкие каналы на дискретных модулях. Это экономично и удобно для модернизации, но совершенно не подходит для тысяч параллельных ядер ИИ-ускорителя.

В архитектуре HBM кремниевые кристаллы DRAM монтируются вертикально друг над другом и соединяются сквозными микроотверстиями (TSV). Полученный стек интегрируется на общую подложку вплотную к вычислительному кристаллу. Короткие проводники позволяют реализовать сверхширокую шину и перекачивать гигантские объемы с минимальными энергозатратами.

Первое поколение HBM уже использовало 1024-битный интерфейс на стек — для сравнения, стандартный канал обычной DDR ограничивается 64 битами. В дальнейшем разработчики наращивали этажность стеков, емкость и тактовые частоты. Спецификации HBM3 и HBM3E легли в фундамент актуальных аппаратных платформ для ИИ, преодолев планку в 1 ТБ/с на стек.

Бесконечно повышать частоту невозможно из-за физических ограничений: на экстремальных скоростях усиливаются затухания, перекрестные помехи и ужесточаются требования к таймингам. Инженерам приходится усложнять приемопередатчики и схемы коррекции сигнала, которые расходуют дополнительную площадь и энергию.

Именно поэтому в стандарте HBM4 ширину шины удвоили до 2048 бит. Логика здесь аналогична автодороге: чтобы пропустить больший поток транспорта, не обязательно заставлять машины ехать быстрее — достаточно расширить число полос. Разумеется, это потребовало дополнительных контактных площадок, перепроектирования контроллера и более совершенной подложки.

Зачем HBM5 потребовался интерфейс на 4096 бит

Ожидается, что базовая скорость HBM4E составит около 12 ГТ/с на контакт, хотя создатели контроллеров уже демонстрируют прототипы на 16 ГТ/с. Тем не менее, стратегия Samsung предполагает двукратный скачок производительности в HBM5 относительно HBM4E. Сохранение 2048-битной шины потребовало бы разгона скорости передачи до недосягаемых 24 ГТ/с на контакт.

Форсировать тысячи параллельных линий на столь высоких частотах — задача колоссальной сложности. Возрастающие паразитные шумы и жесткие требования к синхронизации потребуют громоздких схем компенсации, которые сведут на нет обещанный прирост энергоэффективности.

Альтернативным путем выглядит очередное расширение интерфейса — на сей раз до 4096 бит. Подобная шина способна транспортировать вдвое больший объем данных при прежней частоте контактов. Возможен и компромиссный сценарий, например, 3072 линии вкупе с умеренным разгоном.

Стоит отметить, что Samsung пока официально не подтвердила внедрение 4096-битной шины в HBM5. Озвучены лишь целевые показатели производительности, а методы их достижения держатся в секрете, поэтому цифра в 4 ТБ/с пока остается на уровне экспертных прогнозов.

Впрочем, экстенсивное расширение шины порождает массу конструкторских трудностей. Каждому проводнику требуются физический контакт и трансиверы, занимающие драгоценное пространство подложки. Если сгруппировать несколько таких стеков вокруг ИИ-ускорителя, общее число межсоединений перевалит за десятки тысяч, и разместить их в тесном соседстве с вычислительными чиплетами и силовой обвязкой окажется непросто.

Монтаж упаковки также станет ювелирным: единственный дефект микропайки способен вывести из строя дорогостоящую сборку. Потребуются ультраплотные подложки, многоуровневое тестирование и резервирование линий. Иными словами, за рекордные терабайты в секунду придется расплачиваться не только ваттами, но и снижением процента выхода пригодных изделий.

Практическая польза 4 ТБ/с для искусственного интеллекта

Прирост пропускной способности позволит ИИ-ускорителям работать с более объемным контекстом и параллельно обслуживать больше запросов до того, как память станет узким местом. Для владельцев дата-центров это критически важный параметр: чем выше утилизация каждого чипа, тем меньше инфраструктуры требуется для поддержки клиентской базы.

В задачах обучения эффект зависит от специфики вычислений. Крупномасштабные матричные операции эффективно нагружают тензорные ядра и задействуют данные многократно. Напротив, процедуры нормализации, механизмы внимания и архитектуры со смесью экспертов (MoE) гораздо сильнее зависимы от памяти. Именно здесь HBM5 сможет минимизировать аппаратные простои.

Тем не менее, удвоение пропускной способности не гарантирует линейного ускорения любой нейросети. Если архитектура уперлась в предел тензорных блоков, новая память не изменит ситуацию. Реальные показатели быстродействия могут снижаться из-за случайного характера обращений или неоптимального распределения данных, поэтому оценивать HBM5 исключительно по пиковым спецификациям некорректно.

Заявленное повышение энергоэффективности на 20% относительно HBM4E не означает снижения абсолютного энергопотребления стека: при удвоении трафика общая мощность неизбежно возрастет. Сдерживать тепловыделение планируется за счет перехода базового кристалла HBM5 на передовой 2-нм техпроцесс вместо 4-нм норм, применявшихся в HBM4 и HBM4E.

Проблема отвода тепла от многоуровневых сборок стоит очень остро. Специально для HBM5 компания проектирует технологию Heat Path Block, интегрирующую внутренние теплопроводящие каналы. Это должно снизить термическое сопротивление на 20% и ускорить передачу тепла на внешний контур охлаждения, что, судя по всему, сделает жидкостные системы охлаждения стандартом для флагманских ускорителей.

Эволюционный вектор индустрии ИИ-ускорителей

Появление HBM5 наглядно демонстрирует, что прогресс в сфере ИИ-чипов вышел далеко за рамки простого наращивания вычислительных терфлопсов. Сегодня результативность системы определяется комплексным синергизмом памяти, интерфейсов, методов корпусирования, систем питания и охлаждения. Самый мощный процессор останется бесполезным, если инфраструктура не успевает доставлять ему данные.

Разумеется, рубеж в 4 ТБ/с на стек не решит проблему пропускной способности навсегда. Более быстрая память лишь подстегнет создание еще более масштабных моделей и длинных контекстов, после чего дефицит скорости вернется вновь. Тем не менее, HBM5 обеспечит технологический задел для следующего поколения нейросетевых архитектур.

 

Источник