Современные большие нейросети обучаются на системах с огромным количеством компонентов. А чем больше компонентов, тем выше вероятность отказа. Свежий отчёт Meta* содержит информацию о том, что компания сталкивалась со сбоями ускорителей Nvidia H100 примерно раз в три часа.
Во время обучения модели Llama 3 405B на кластере, содержащем 16 384 ускорителя Nvidia H100 80 ГБ, в течение 54 дней было зафиксировано 419 сбоев, то есть в среднем один сбой каждые три часа. В 58,7% случаев виноваты были либо графические процессоры, либо их память HBM3. В целом сбои в таких сложных системах — это норма, и вопрос скорее в способности специалистов справляться с этими сбоями. В случае Meta* команда сохранила более 90% эффективного времени обучения.
Проблемные GPU были идентифицированы с помощью специализированных инструментов. Эти инструменты приоритизировали проблемные коммуникации, обеспечивая эффективное обнаружение и своевременное разрешение отстающих GPU, что гарантировало минимизацию замедлений, поддерживая общую эффективность обучения.
* Meta признана в России экстремистской организацией, её деятельность запрещена.
Colorful представила белую материнскую плату iGame B850I MINI W OC V14 с Wi-Fi 7 и двумя слотами M.2 PCIe 5.0 x4
Vivo S60t поступил в продажу: не самый мощный чип, зато аккумулятор на 7200 мА·ч, зарядка 90 Вт, перископная камера и защита IP69
GPD запустит на Indiegogo Win Mini Ultra — гибрид ноутбука и консоли с Intel Arc G3 Extreme за 1700 долларов
Кредиторы SpaceX попытались помешать Илону Маску отправить в космос заложенные чипы Nvidia
GTA VI разошлась тиражом более 32 млн копий за первые сутки и заработала почти 3,8 млрд долларов, установив рекорд индустрии развлечений
Seagate представила гибридный накопитель FireCuda Forge на 8 и 20 ТБ с поддержкой NVMe SSD
Meizu MIFI N1 поступил в продажу за $6: Wi-Fi 6, LTE до 150 Мбит/с, подключение до 16 устройств и аккумулятор на 3000 мАч
Microsoft внедрила новый способ работы RDMA: несколько ПК можно объединять по USB4 для запуска больших ИИ-моделей