Можно ли построить сервер на игровом «железе»?

Приветствую! Меня зовут Виталий, я работаю инженером ЦОД. За время работы с серверным оборудованием мне нередко попадались конфигурации, в которых грань между «сервером» и обычным компьютером оказывается весьма размытой. Мощный процессор, большой объем памяти, быстрые SSD — и вот перед вами машина, способная справляться с серверными задачами. Особенно любопытен такой подход для локального машинного обучения, инференса, рендеринга и обработки данных.

В этой статье мы разберем конкретную конфигурацию сервера на «игровых» комплектующих, сопоставим ее с серверными решениями и выясним, в каких случаях потребительское железо себя оправдывает, а в каких экономия оборачивается лишними затратами и трудностями в эксплуатации.

Почему «мощный ПК» еще не сервер

Главный козырь потребительских комплектующих — отношение цены к производительности. Возьмем для примера сборку с RTX™ 4090. Это уже не новейшая десктопная видеокарта, но для сравнения она подходит отлично: на ней хорошо заметно различие между потребительским и серверным подходами.

RTX™ 4090 оснащена 24 ГБ видеопамяти GDDR6X, а ее энергопотребление достигает 450 Вт. В играх это просто очень быстрая карта, а для локального инференса или рендеринга — серьезный вычислительный ресурс. Компьютер на базе Ryzen^® 9 9950X со 128 ГБ DDR5, несколькими NVMe-накопителями и RTX™ 4090 способен стать производительной рабочей станцией за относительно скромные деньги. Все комплектующие без труда находятся в обычной рознице, а конфигурацию можно подобрать точно под свою задачу. В ряде сценариев такая машина по вычислительной мощности вполне может тягаться с заметно более дорогими серверами.

Однако у серверного оборудования есть особенности, которые не отражены в спецификациях процессора или видеокарты. Это коррекция ошибок памяти, удаленное управление, увеличенное число линий PCI Express, продуманное охлаждение, резервирование питания, горячая замена компонентов и, что тоже немаловажно, доступность запчастей. Кроме того, серверные платформы изначально проектируются для круглосуточной работы под постоянной нагрузкой на протяжении многих лет. Впрочем, это не значит, что серверный процессор в любой задаче окажется быстрее потребительского.

Производительность во многом определяется характером нагрузки. В однопоточных задачах и приложениях, чувствительных к скорости отдельного ядра, современный десктопный процессор вполне способен обогнать серверный. Поэтому серверное оборудование выбирают не только ради максимальной производительности, а порой и не столько ради нее, сколько ради сочетания быстродействия, масштабируемости, отказоустойчивости и удобства обслуживания. Преимущества серверной платформы особенно заметны там, где нужны много ядер, большой объем памяти, множество PCIe-линий, несколько ускорителей или бесперебойная работа без остановок.

Сборка на RTX 4090 и серверные GPU: во сколько это обойдется

Рассмотрим конфигурацию, которую мы уже частично описали: Ryzen^® 9 9950X, 128 ГБ DDR5, два NVMe по 2 ТБ, RTX™ 4090 и блок питания на 1200–1600 Вт (например, Seasonic VERTEX PX 1200W — он соответствует стандарту ATX 3.1, имеет сертификат 80 PLUS Platinum и штатный разъем 12V-2×6 для современных видеокарт). Добавим корпус и систему охлаждения: башенный кулер вроде Noctua NH-D15 G2 или СЖО, скажем, Arctic Liquid Freezer III 360, если корпус позволяет установить 360-мм радиатор. В итоге, в зависимости от производителя комплектующих и состояния рынка, получаем 16-ядерный процессор, 128 ГБ оперативной памяти, несколько терабайт быстрого хранилища и 24 ГБ видеопамяти за 600–700 тысяч рублей. На первый взгляд предложение выглядит очень заманчиво.

Если же попытаться на эти деньги собрать полноценный сервер с мощным ускорителем, картина меняется. В серверном сегменте за сопоставимую сумму можно купить либо довольно старую платформу, либо восстановленный сервер прошлого поколения, либо современную машину, но практически без видеокарты (или с достаточно слабой): на мощный GPU бюджета уже не останется. К примеру, готовый Dell PowerEdge R760 может комплектоваться двумя серверными процессорами Intel^® Xeon^®, большим объемом DDR5 ECC RDIMM, несколькими PCIe-устройствами и резервированными блоками питания. Но при таком бюджете львиную долю стоимости забирает сама серверная платформа, поэтому на GPU уровня RTX™ 4090 средств может просто не хватить.

Более старые модели Dell PowerEdge, HPE ProLiant или Supermicro стоят заметно дешевле, но это будет либо предыдущая архитектура, либо восстановленное оборудование. Таким образом, за те же деньги можно получить сервер с куда более развитой инфраструктурой и отказоустойчивостью, но не обязательно с GPU-мощностью, сопоставимой с RTX™ 4090.

При этом напрямую сопоставлять десктопную RTX 4090 с NVIDIA^® A100 или H100 не вполне корректно: эти ускорители создавались для разных сценариев. Тем не менее у RTX™ 4090 есть конкретное достоинство — пиковая производительность в стандартных вычислениях FP32. По заявленным характеристикам она достигает 82,6 TFLOPS, в то время как у A100 этот показатель равен 19,5 TFLOPS, а у H100 SXM — 67 TFLOPS. Иными словами, в задачах, эффективно использующих именно FP32, RTX™ 4090 теоретически может превзойти оба серверных ускорителя.

Впрочем, для обучения нейросетей и инференса одного лишь показателя FP32 недостаточно. Здесь большую роль играют тензорные ядра и поддерживаемые форматы вычислений, в которых H100 заметно мощнее. К тому же у RTX™ 4090 всего 24 ГБ видеопамяти GDDR6X с пропускной способностью около 1 ТБ/с, тогда как A100 несет на борту 80 ГБ HBM2e с пропускной способностью порядка 2 ТБ/с, а H100 SXM — 80 ГБ HBM с пропускной способностью до 3,35 ТБ/с. Кроме того, H100 поддерживает NVLink с пропускной способностью до 900 ГБ/с, что важно при объединении нескольких ускорителей.

Следовательно, сильная сторона RTX™ 4090 — не универсальное превосходство над серверными GPU, а высокая производительность в определенных задачах при сравнительно доступной цене. Если вычисления хорошо ложатся на ее архитектуру и помещаются в 24 ГБ памяти, потребительская карта может оказаться выгодным выбором. Например, модели уровня Llama 3 8B или Qwen 14B при подходящем квантовании можно запустить на одной RTX™ 4090. Для экспериментов, разработки и локального инференса этого вполне хватит, а вот для более крупных моделей и масштабных нагрузок преимущества серверных ускорителей становятся очевиднее.

Арендуйте GPU за 1 рубль!

Подберите нужную конфигурацию в панели управления Selectel. Подробнее →

Об интерфейсах

При инференсе, а тем более при обучении крупных моделей GPU непрерывно работает с данными в собственной памяти. Поэтому в ряде задач узким местом становится не число вычислительных блоков, а скорость обмена данными с памятью. Есть и другая сложность — объединение нескольких RTX™ 4090. Две такие карты не превращаются в одну с 48 ГБ общей видеопамяти. В RTX™ 4090 нет NVLink, поэтому данные между картами передаются через PCI Express.

PCI Express и NVLink

Чтобы понять, насколько различается скорость такого обмена, сравним теоретическую двунаправленную пропускную способность интерфейсов. У PCIe 4.0 x16, который используется в RTX™ 4090, она составляет около 64 ГБ/с, у PCIe 5.0 x16 — около 128 ГБ/с. Для сопоставления: NVLink у H100 SXM обеспечивает до 900 ГБ/с.

Выходит, что даже PCIe 5.0 заметно проигрывает специализированному соединению между GPU. На практике это критично в задачах, где видеокартам приходится постоянно обмениваться большими объемами данных. Если крупная нейросеть не помещается в память одного GPU и ее слои распределены между двумя картами, один ускоритель вынужден непрерывно передавать промежуточные результаты другому. Чем интенсивнее такой обмен, тем сильнее сказывается ограничение PCI Express. Серверные ускорители вроде H100 изначально проектируются для работы в «многокарточных» конфигурациях. В системах NVIDIA^® HGX™ несколько GPU объединены через NVLink и NVSwitch, что обеспечивает высокую скорость обмена между ускорителями.

Зато для задач, которые хорошо параллелятся и требуют минимального обмена между картами, две RTX™ 4090 могут работать вполне эффективно. Можно запустить два независимых процесса обработки изображений, рендеринга или инференса: один задействует первый GPU, второй — второй. Тогда каждая карта трудится практически автономно, а PCI Express используется преимущественно для загрузки данных.

Похожий принцип применяется и при обучении моделей. В режиме распределенного обучения каждый GPU обрабатывает свою часть данных, после чего результаты синхронизируются. Эффективность при этом зависит от того, как часто и в каком объеме данные приходится передавать между ускорителями.

Слоты есть, а линий может не хватить

Если на материнской плате распаяно пять PCIe-разъемов, легко решить, что в такую систему без проблем встанут три видеокарты, HBA и быстрая сетевая карта. Но на практике все несколько сложнее. Конфигурация физических слотов всегда ограничена общим числом линий PCI Express в системе. У обычного настольного процессора часть линий отведена под видеокарту и накопители, а дополнительные устройства могут подключаться через чипсет. Доступную пропускную способность между ними приходится делить.

У серверных процессоров возможностей гораздо больше. Например, AMD EPYC™ 8005 предоставляет до 96 линий PCIe 5.0. Это позволяет одновременно подключить несколько GPU, сетевые адаптеры, HBA и NVMe-накопители, не сталкиваясь с ограничениями, типичными для обычных настольных платформ.

Поэтому одна RTX™ 4090 и два NVMe для современного настольного компьютера, как правило, не проблема. А вот конфигурация из нескольких GPU, 100-гигабитной сетевой карты, HBA и множества NVMe уже потребует тщательного расчета топологии PCI Express.

Почему On-Die ECC в DDR5 не превращает ее в серверную память

С памятью связан отдельный любопытный нюанс. В современных микросхемах DDR5 применяется внутренняя коррекция ошибок — On-Die ECC. Она работает прямо внутри микросхемы DRAM и помогает исправлять ошибки на этом уровне, но не контролирует весь путь данных между процессором и оперативной памятью. Это не то же самое, что системная ECC-память, которую используют в серверах и рабочих станциях. В модулях ECC UDIMM и ECC RDIMM дополнительная информация служит для проверки данных при их передаче между процессором и памятью. Благодаря этому система может обнаруживать и исправлять ошибки, возникающие уже за пределами самой микросхемы DRAM.

ECC UDIMM по конструкции близка к обычной памяти, но содержит дополнительные биты для коррекции ошибок. В ECC RDIMM между контроллером памяти и микросхемами DRAM установлен регистр, который снижает нагрузку на контроллер и позволяет использовать больше модулей. Поэтому RDIMM чаще применяют в системах с большим объемом оперативной памяти.

При сборке домашнего или лабораторного сервера важно смотреть не просто на упоминание ECC в характеристиках памяти, а проверять, какой именно механизм и тип памяти поддерживает конкретная платформа. Системная ECC повышает надежность работы с памятью, но сама по себе не делает десктопную систему серверной. Она решает лишь одну задачу — контроль ошибок памяти. BMC, резервирование питания, горячая замена компонентов и прочие серверные функции требуют соответствующей платформы.

Что делать, если сервер перестал отвечать

Одна из вещей, которую начинаешь особенно ценить после работы в ЦОД, — удаленное управление сервером. На серверной плате, как правило, есть отдельный контроллер управления — BMC. Он функционирует независимо от основной операционной системы.

Если Linux завис, SSH по сети не откликается, а мониторинг сообщает о тайм-ауте, через BMC по-прежнему можно проверить состояние оборудования, перезагрузить машину или открыть удаленную консоль. У десктопной материнской платы подобного контроллера, как правило, нет.

Проблему можно решить и своими силами. Например, с помощью IP-KVM — небольшого устройства, которое подключается к видеовыходу и USB компьютера и предоставляет удаленный доступ к клавиатуре, мыши и изображению. Существуют также управляемые розетки и блоки распределения питания, позволяющие дистанционно выключать и включать компьютер.

Но это все же обходные пути, которые не заменяют полноценный BMC. Серверный контроллер дает значительно больше сведений о температурах, напряжениях, вентиляторах, памяти и других компонентах. Так что IP-KVM или управляемая розетка вполне подойдут для домашнего сервера или лаборатории. Для инфраструктуры же, где оборудование должно обслуживаться удаленно и без выезда инженера, полноценный BMC намного удобнее.

Игровой ПК и сервер по-разному работают с воздухом

Еще одно существенное отличие — организация воздушного потока. Серверный корпус рассчитан на движение воздуха спереди назад. Вентиляторы создают мощный поток, который последовательно охлаждает накопители, память, процессор и платы расширения. В зависимости от нагрузки серверные вентиляторы могут вращаться со скоростью в несколько тысяч оборотов в минуту. Это шумно, зато позволяет эффективно охлаждать плотную компоновку.

Игровой компьютер устроен иначе. Крупные корпусные вентиляторы вращаются медленнее и тише, а значительная часть охлаждения ложится непосредственно на видеокарту. Для стандартного корпуса ПК такой подход работает отлично, но в плотно скомпонованном серверном шасси могут возникнуть проблемы.

Особенно это заметно на мощных видеокартах вроде RTX™ 4090, которые выделяют до 450 Вт тепла. Штатная система охлаждения такой карты рассчитана на установку в обычный корпус и нуждается в достаточном пространстве для забора воздуха. Если поставить несколько подобных карт вплотную друг к другу или перекрыть им доступ воздуха глухими стенками серверного шасси, эффективность охлаждения заметно упадет. Поэтому просто установить игровую видеокарту в серверный корпус недостаточно. Нужно учитывать расстояние между картами, направление воздушного потока и аэродинамическое сопротивление.

Порой приходится дорабатывать охлаждение — использовать специальный кожух или изменять конструкцию системы так, чтобы воздушный поток проходил непосредственно через радиатор видеокарты. Без этого под длительной нагрузкой карта будет перегреваться и сбрасывать частоты, а нагретый воздух дополнительно повысит температуру соседних компонентов.

Питание

Разъемы

Для RTX™ 4090 широко известен разъем 12VHPWR, а в более новых системах применяется его обновленная версия 12V-2×6. Проблема не в самой идее одного компактного разъема, а в большой мощности, которая через него проходит. При неправильной установке, сильном изгибе кабеля возле коннектора или плохом контакте возможен локальный перегрев. Поэтому при сборке системы с такой картой важно использовать качественный кабель и не допускать резкого изгиба прямо у разъема.

Для игрового компьютера это неприятность. А для сервера, который должен месяцами работать без вмешательства, к ней тем более нужно относиться серьезно.

Блоки питания

В десктопном ПК обычно установлен один блок питания. Если он выходит из строя, машина отключается — даже когда все остальные компоненты абсолютно исправны.

В сервере можно разместить два резервированных блока питания. При отказе одного второй продолжит снабжать систему энергией. Но обычный ATX-блок питания нельзя просто поставить в сервер и считать резервным. Для резервирования нужны специальные блоки и соответствующая серверная конструкция: как правило, это отдельные модули, которые устанавливаются в корпус и подключаются к общей системе распределения питания.

В некоторых моделях такие модули поддерживают горячую замену: неисправный блок можно извлечь и поставить новый, не останавливая сервер. Это одна из тех функций, за которые мы, по сути, и платим, выбирая серверное железо.

Когда пора переходить на серверную платформу

Как правило, этот момент наступает не после первого отказа оборудования. Скорее, постепенно возникают требования к доступности, дисковая подсистема перестает справляться с нагрузкой, появляется потребность в удаленном управлении, а обслуживание отнимает слишком много времени. Ситуация кардинально меняется, когда сервер начинает обслуживать клиентов и хранить критичные данные, а его простой напрямую сказывается на работе бизнеса. Тогда важны уже не только производительность и цена комплектующих, но и скорость диагностики и восстановления оборудования.

Серверные платформы изначально рассчитаны на круглосуточную эксплуатацию. BMC позволяет удаленно следить за состоянием оборудования, получать данные об аппаратных ошибках и перезагружать систему независимо от операционной системы. Серверные корпуса, кроме того, предусматривают резервирование питания и горячую замену отдельных компонентов. Если оборудование размещено в дата-центре и обслуживается по SLA, восстановление после типового сбоя может занять считаные минуты. Инженер получает информацию о неисправности, берет совместимый компонент из фонда запасных частей и заменяет

 

Источник