Экзафлопсы для генеративного ИИ: Google анонсировала TPU Ironwood для масштабного инференса с беспрецедентной производительностью

На конференции Next ’25 в Лас-Вегасе Google представила седьмое поколение тензорных процессоров Ironwood — первую версию TPU, разработанную специфически для инференс-задач. Этот процессор предлагается в двух вариантах с жидкостным охлаждением (256 и 9 216 чипов) и предназначен для поддержки вычислительных нагрузок, необходимых для развития генеративного искусственного интеллекта следующего поколения.

Каждый чип Ironwood способен достигать впечатляющей пиковой производительности в 4 614 терафлопс. В случае увеличения до кластера из 9 216 чипов общая система способна достигнуть до 42,5 экзафлопс. По словам Google, это превосходит мощность суперкомпьютера El Capitan в более чем 24 раза, который демонстрирует 1,742 экзафлопс. Однако это сравнение нуждается в уточнении: El Capitan измеряется по стандарту FP64 (двойная точность), тогда как Ironwood использует FP8 (8-битные вычисления), получившие признание в оценке ИИ-систем. Конечно, FP64 требует значительных дополнительных ресурсов для выполнения операций.

Новое поколение TPU выделяется и улучшенными характеристиками памяти: каждый чип оснащается 192 ГБ высокоскоростной памяти HBM с пропускной способностью 7,4 Тбит/с, что в 6 раз превышает показатели предыдущего поколения Trillium. Inter-Chip Interconnect (ICI) обеспечивает скорость передачи данных 1,2 Тбит/с в обоих направлениях, что на 50% больше, чем у предшественника. По словам Амина Вахдата, вице-президента Google по машинному обучению, Ironwood продемонстрировал почти 30-кратное улучшение энергоэффективности по сравнению с первым облачным TPU, выпущенным в 2018 году, и вдвое лучше показателей Trillium.

Вместе с Ironwood Google также анонсировала обновления сетевой инфраструктуры: сервисы 400G Cloud Interconnect и Cross-Cloud Interconnect увеличили пропускную способность в 4 раза по сравнению с предыдущими 100G-решениями. Для хранения данных компания представила Hyperdisk Exapool, позволяющий выделить до экзабайта емкости на ИИ-кластер, а также Cloud Storage zonal bucket, который повышает скорость случайного чтения данных в 20 раз по сравнению с региональными хранилищами, минимизируя задержки за счёт размещения данных непосредственно вблизи TPU или GPU.

«Мы создали Ironwood для эпохи, где важны не только данные модели, но и её способность действовать после обучения, — отметил Ваhдат. — За последние восемь лет спрос на обучение и обслуживание ИИ-моделей вырос в 100 миллионов раз, и наши инвестиции в TPU помогают задавать новые стандарты».

Источник: iXBT