Всё началось с потребности самостоятельно проводить эксперименты и исследования в области ИИ без ограничений облачных провайдеров и дефицита ресурсов локальных кластеров. Наука давно превратилась для меня не только в профессию, но и в хобби: запускать модели, сравнивать результаты, проверять новые гипотезы — это всё требует надёжной собственной инфраструктуры. Поэтому я принял решение собрать домашний GPU-сервер, ориентированный на серьёзный ресёрч.
Ранее у меня не было опыта монтажа крупного «железа», однако огромную помощь оказал мой научный руководитель, щедро делившийся рекомендациями и практическими советами. Без его поддержки этот проект едва ли удалось довести до логического завершения.
Изучив доступные материалы, я заметил дефицит подробных инструкций по самостоятельным мульти-GPU сборкам именно под задачи научных экспериментов (не майнинга). Хотелось найти готовую индустриальную схему: закрытый корпус, простор для нескольких видеокарт, накопителей и эффективного охлаждения. Но дельных примеров было мало, поэтому корпус подбирался наугад: это уже третья итерация, а на поиски совместимых комплектующих ушло множество часов. Даже опытные инженеры из крупных IT-компаний не могли дать однозначных рекомендаций по ряду узлов.
В процессе сборки пришлось столкнуться с бюджетными ограничениями и многочисленными переделками системы охлаждения — процессорный кулер я сменил четыре раза. Затраты постоянно росли: то понадобились более длинные кабели, то дополнительные вентиляторы, то какая-то мелкая, но обязательная деталь.
Ключевые уроки:
- Найти корпус под несколько полноразмерных видеокарт — непростая задача;
- Надёжную серверную материнскую плату с поддержкой мульти-GPU подобрать сложно;
- На «Авито» часто можно отыскать новые комплектующие по привлекательной цене.
Далее подробно о каждом этапе: от выбора корпуса до финальной сборки и отладки системы охлаждения.
Выбор корпуса
Первым пробным решением стал бюджетный Ginzu GL180 — корпус с минимальным пространством для расширения. Он отлично подошёл для начального тестового сетапа, но быстро перекрывал рост сборки.
Затем я опробовал Procase 4U — он просторнее, но места для мульти-GPU-конфигурации всё равно не хватало.
Оптимальным решением оказался двухэтажный корпус с AliExpress (https://aliexpress.ru/item/1005009548974008.html). Внутри достаточно места для видеокарт, дисков и качественной вентиляции. В комплекте идут съёмные перегородки и большое пространство под стандартные компоненты.
Основные компоненты
В качестве основы выбрана серверная плата Huananzhi X99-F8D Dual Plus с двумя сокетами процессоров, восемью слотами под оперативку, шестью PCIe-слотами, тремя M.2 NVMe и десятью SATA-разъёмами. Dual-CPU решение обеспечивает более высокую скорость предобработки данных и масштабируемость при параллельных запусках.
ОЗУ — восемь модулей Atermiter по 16 ГБ. Центральные процессоры — два Intel Xeon E5-2699A v4 (22 ядра каждый). Для питания выбраны два блока DeepCool GamerStorm PQ1200G WH по 1200 Вт.
Система охлаждения
Из-за ограниченной высоты в корпусе (не более 5 см над сокетами) башенный кулер не подходил. Решением стало два водоблока ExeGate BlackWater-240V2.PWM и BlackWater-120V2.PWM: крупный радиатор на первый CPU и компактный — на второй. Под нагрузкой температура не превышает 55 °C.
Для выдува горячего воздуха установлены шесть вентиляторов Arctic S12038-8K (до 8000 об/мин). Их мощность обеспечивает эффективную продувку даже при максимальной загрузке.
Один из узлов — стандартные болты оказались слишком короткими для широких вентиляторов. Выручили обычные пластиковые стяжки: они надёжно фиксируют вентиляторы без дребезжания.
Монтаж охлаждения
На фото — три вентилятора радиатора первого процессора, подпитка материнской платы и части видеокарт от одного из БП, рядом установлены два SSD с пассивными радиаторами.
Два M.2 Samsung 990 Pro по 4 ТБ закреплены в радиаторах Coolleo SSD-V2 (HR-10) с тепловыми трубками для эффективного отвода тепла.
Над процессорами установлены помпы, а для максимальной теплопроводности применён жидкий металл Thermal Grizzly Conductonaut. Скорость вентиляторов контролируется через Arctic Case Fan Hub.
Установка накопителей
За год эксплуатации сервер оброс шестью HDD для датасетов и резервных копий:
- Seagate Barracuda 2 ТБ
- Seagate Barracuda 1 ТБ
- Seagate SkyHawk 4 ТБ
- WD Red 1 ТБ
- 2× Seagate Exos 8 ТБ (бренд Dell EMC)
На металлической планке закреплены PCIe райзеры с поворотом слота на 90 ° для удобного монтажа видеокарт. Обратимся к этой конструкции позже.
Все диски запитаны кабелями SATA. Для синхронного старта двух блоков питания установлен контроллер Espada ESP-DPSS02 — без него одновременный запуск двух БП невозможен.
Установка видеокарт
Для установки GPU используются две планки: одна с райзерами, другая служит передней опорой, а третья — боковая металлическая пластина для фиксации карт. Такая система исключает провисание видеокарт даже при полной загрузке.
Корпус рассчитан на размещение до пяти видеокарт в разнесённых слотах для оптимального обдува. В текущем сетапе установлены:
- 2× RTX 4060 Ti 16 ГБ
- 1× RTX 5060 Ti 16 ГБ
- 2 запасные карты для фотосессии (ожидаются ещё две из Китая)
По производительности они превосходят Tesla A100, хотя уступают ей по ширине шины и объёму видеопамяти — для научных задач их скорости хватает с лихвой.
Выводы
Сборка домашнего мульти-GPU сервера оказалась сложным, но захватывающим процессом. Правильный корпус, продуманная система охлаждения и надёжное питание позволяют получить гибкую платформу для научных экспериментов, не уступающую облачным решениям по производительности. Если вы планируете аналогичный проект — не бойтесь пробовать и экспериментировать: результат того стоит.
Следите за нашим развитием в Telegram: мой канал и канал научного руководителя.
