Tesla уже располагает одним из самых мощных суперкомпьютеров в мире

Похоже, компания Tesla обзавелась одним из самых мощных в мире суперкомпьютеров. На данный момент установка имеет производительность 1,8 exaFLOPS, и суть в том, что это лишь треть будущего суперкомпьютера Dojo. 

Сейчас система включает 720 узлов, каждый из которых содержит во восемь ускорителей Nvidia A100. То есть суммарно это 5760 адаптеров. Стоит отметить, что указанная выше производительность в 1,8 exaFLOPS — это производительность тензорных ядер при вычислениях с половинной точностью (FP16). Для FP32 этот показатель уже вдвое ниже. Но дело в том, что это всё равно не та производительность, которую принято оценивать у суперкомпьютеров. 

Обычная производительность Nvidia A100 в FP32 составляет 19,5 TFLOPS. Таким образом, для текущей системы Tesla речь идёт о 112,3 TFLOPS, причём это значения согласно спецификациям карт Nvidia. Суперкомпьютеру ещё предстоит пройти тест High Performance Linpack (HPL), чтобы занять своё место в TOP500, но пока он метит сразу на третье, согласно ноябрьскому рейтингу. Глава Tesla по разработкам ИИ Андрей Карпати (Andrej Karpathy), в свою очередь, предположил пятое место.  

Но при этом стоит помнить, что текущий вариант системы Tesla является лишь третью от итоговой конфигурации Dojo, так что в итоге у компании в распоряжении, возможно, будет второй по мощности суперкомпьютер в мире.