Экспериментируем с видеокартой Tesla H100 (GH100)

Продолжая цикл практических испытаний современных видеокарт NVIDIA (RTX 5090, A5000 Ada, A100, 3090 и A10), на этот раз мне доверили исследовать H100 с 80 ГБ видеопамяти в течение нескольких часов.

Обучение моделей вновь отложим, вместо этого нагрузим карту с помощью gpu-burn, опробуем режим MIG (multi-instance GPU) и замерим производительность инференса одной из наших «прожорливых» сетей.

Хотя с A100 и MIG мне уже доводилось экспериментировать, появление H100 в России казалось немыслимым. Поэтому главным комическим акцентом станет история санкций и «сумочка» из H100, выставленная на продажу за 65 536 долларов, взорвавшая интернет-обсуждения (источник).

Кроме того, расскажем о «фишке» MIG, доступной на топовых картах NVIDIA (в основном A100 и H100, но встречаются и экзотические варианты) – и поясним, как это поможет разделить GPU на несколько инстансов.

В завершение вас ждёт небольшая детективная зарисовка.

Поехали

Источник