Графическая карта с 40 ГБ памяти и шиной с пропускной способностью 4,8 ТБ/с. Параметры ускорителя Nvidia Tesla A100 просто невероятны

Несмотря на то, что на сайте Nvidia ещё никакой информации ни о топовом GPU Ampere, ни об ускорители Tesla A100, в Сети уже появились подробные данные.

Напомним, сегодня мы уже узнали о том, что GPU, который некоторые источники называют не GA100, а A100, содержит невероятные 54 млрд транзисторов, а ускоритель Tesla A100 превосходит Tesla V100 в задачах ИИ и вычислениях с одинарной точностью (FP32) в 20 раз.

Теперь же появились подробности о конфигурации Tesla A100, хотя к этим данным есть вопросы. Начнём с того, что источник говорит о наличии у ускорителя 6912 ядер CUDA FP32 и 3456 ядер FP64, и совершенно неясно, что имеется в виду. Учитывая, что сам GPU относительно предшественника содержит более чем вдвое больше транзисторов, конечно, можно предположить, что в его конфигурацию входит более 10 000 ядер CUDA, но это вряд ли. К тому же другой источник считает, что сам GPU GA100 включает 8192 ядра CUDA, а в Tesla A100 просто активны не все. И это нормальная практика, однако и тут всё сходится не очень хорошо, ибо получается, что в топовом специализированном графическом ускорителе неактивно около 15% всех ядер, что было бы странно. К примеру, в Tesla V100 у графического процессора были отключены лишь 5% имеющихся у него ядер. Таким образом, этот вопрос пока остаётся открытым.

Также источник сообщает о наличии 432 тензорных ядер, 40 ГБ памяти HBM2e с 5120-разрядной шиной. Что интересно, при всей невероятной мощности TDP ускорителя составляет лишь 400 Вт. Да, в абсолютном выражении это очень много, но относительно характеристик, напротив, можно было бы ожидать большего.

Но это, конечно, не всё. Nvidia заявляет, что с GPU GA100 ей удалось добиться крупнейшего скачка производительности за все восемь поколений GPU, что стало возможным благодаря пяти технологическим прорывам.

Судя по всему, сюда входит новый семинанометровый техпроцесс TSMC, гигантское количество транзисторов, новые тензорые ядра третьего поколения, которые впервые поддерживают операции с плавающей запятой с одинарной и двойной точностью, межсетевое соединение NVLink с пропускной способностью в 4,8 ТБ/с (600 ГБ/с при подключении GPU-GPU), а также некая возможность «разделения» одного GPU на семь отдельных кластеров, каждый из которых якобы может выступать в роли отдельного графического процессора, но подробностей, к сожалению, нет.

Nvidia пока не называет цену ускорителя Tesla A100, но вот станция DGX A100 с восемью такими адаптерами обойдётся покупателям в 200 000 долларов.