Дешёвая замена RTX 3090 Ti для локального ИИ: как китайцы воплотили в жизнь шутку времён майнинг-бума

44 минуты назад Прокомментировать Просмотры: 0

«Как?»

Распространено мнение, что для программирования с помощью локальной нейросети нужно «железо» по космическим ценам вроде RTX 3090 Ti или Mac Studio. На деле это не совсем так. Здесь мы разберём противостояние проверенной грубой силы и свежего технологического подхода: как китайская самоделка превратилась в полноценную бюджетную альтернативу популярной 3090 Ti. Спойлер: заплатив меньше, мы получим больше.

Как следует из заголовка, я хочу рассмотреть конкретный пример: старое решение в новой обёртке — «феномен 2080 Ti 22 GB». Но сначала — краткий исторический экскурс.

Интерес к локальным нейросетям растёт стремительно, и началось это ещё в те времена, когда LLM были не рабочим инструментом почти для каждого, а скорее амбициозной забавой. Лёгкие модели при этом развивались не менее быстро — достаточно вспомнить легендарный отечественный проект Saiga…

В то не столь далёкое время тогдашняя флагманская 3090 Ti закрепилась как народное решение по нескольким причинам:

Зрелая экосистема NVIDIA CUDA, которая заметно опережала только зарождавшуюся AMD ROCm.
Поддержка мостика NVLink для объединения карт (в китайской самоделке он тоже сыграет огромную роль).
Главное — 24 ГБ VRAM, и этот объём, вероятно, останется оптимальным для потребительского сегмента даже спустя шесть лет.

Для обучения и инференса компактных моделей этих возможностей хватало, чтобы запускать и даже дообучать через LoRA многие модели вроде Llama 8B/13B, Mistral 7B и другие.

А что, если я скажу, что за меньшие деньги можно получить вдвое больше видеопамяти и скорость, превышающую показатели 3090 Ti в 1,8 раза?

Феномен 2080 Ti 22 GB

История этой массовой самоделки началась в 2021 году, в разгар майнингового бума. Русскоязычный блогер-ремонтник Илья Корнейчук (VIK-on) заметил архитектурное сходство карты с серверными линейками и, по всей видимости, из спортивного интереса решил перепаять страпы на подопытной 2080 Ti, чтобы проверить гипотезу об аппаратной поддержке 22 GB VRAM. Как вы понимаете, у него получилось, хотя модули большего объёма он физически не устанавливал — вероятно, из-за отсутствия практического смысла: в 2021 году 11 ГБ с запасом хватало и геймерам, и майнерам, а цены на тогда ещё дефицитную GDDR6 , мягко говоря, кусались.

Заметка про страпы: Страпы — это крошечные конфигурационные резисторы, работающие как аппаратные переключатели. Именно они при включении компьютера сообщают графическому чипу, какой плотности и объёма модули памяти на нём распаяны.

Позднее, примерно в 2023 году, моддер-энтузиаст, предположительно китайского происхождения, под псевдонимом wxnod вместе с единомышленниками сумел распаять на такой же печатной плате уже 44 ГБ VRAM. Для этого пришлось доработать и саму плату. Впрочем, решение не прижилось: в играх и бенчмарках карта вела себя совершенно неадекватно — возможно, из-за узкой шины или несоответствия vBIOS и драйвера.

Чуть позже, ближе к февралю 2024 года, появились и полноценные продавцы подобных карт (точную дату, увы, установить невозможно).

Аппаратная поддержка NVLink лишь подогревала спрос на этот товар. На момент написания статьи цена колеблется в районе 450–500 $, что весьма привлекательно, а реальная себестоимость такой карты, разумеется, ещё ниже.

Конечно, именно этот лот, а возможно, и более ранние варианты китайские энтузиасты стали объединять через NVLink в 44-гигабайтного «Франкенштейна». Суммарные характеристики оказались более чем внушительными и идеально подошли для развёртывания LLM. Позже у тех же китайских разработчиков появились и GitHub-репозитории — полноценные проекты для оптимизации работы и запуска моделей. Предлагаю рассмотреть один из таких проектов, построенный на базе Qwen3.8 27B.

Немного бенчмарков

Tested weight: Qwen/Qwen3.8-27B-FP8

Profile                                             | Context | KV   | Speculative decoding   | Messages   | GPU KV tokens | 4K/128 prefill / decode | 32K/512 prefill / decode
qwen27b/w8a16/mtp4-fp16kv-1x148K-text-only.env      | 148K    | FP16 | MTP/4                  | text-only  | 149,964       | 1643.37 / 97.55         | 1425.34 / 95.10
qwen27b/w8a16/nomtp-fp16kv-1x176K-text-only.env     | 176K    | FP16 | None (autoregressive)  | text-only  | 179,940       | 1694.94 / 33.17         | 1483.04 / 30.80
qwen27b/w8a16/nomtp-fp16kv-1x121K-text-image.env    | 121K    | FP16 | None (autoregressive)  | text+image | 122,608       | 1697.78 / 32.81         | 1447.04 / 30.65
qwen27b/w8a16/mtp4-fp8kv-1x262K-text-only.env       | 262K    | FP8  | MTP/4                  | text-only  | 295,455       | 1623.68 / 94.60         | 1393.94 / 92.47
qwen27b/w8a16/mtp4-fp8kv-1x186K-text-image.env      | 186K    | FP8  | MTP/4                  | text+image | 190,540       | 1634.73 / 96.11         | 1384.95 / 93.17
qwen27b/w8a16/yarn-fp8kv-1x338K-text-only.env       | 338K    | FP8  | None + YaRN            | text-only  | 354,143       | 1239.30 / 23.71         | 1338.48 / 17.91

Эти бенчмарки — синтетические данные; в реальной эксплуатации производительность может отличаться.

Сравнение характеристик с 3090 Ti

Показатель                              | 2× RTX 2080 Ti | RTX 3090 Ti | Разница
----------------------------------------|----------------|-------------|--------
FP32-блоки                              | 8 704          | 5 376       | 1,62×
SM-блоки                                | 136            | 84          | 1,62×
Tensor Cores                            | 1 088          | 336         | 3,24×
Теоретическая производительность FP16   | 228 TFLOPS     | 160 TFLOPS  | 1,43×
Пропускная способность VRAM             | 1 232 GB/s     | 1 008 GB/s  | 1,22×
Суммарная VRAM                          | 44 GB          | 24 GB       | 1,83×

Цифры и бенчмарки впечатляют, но нельзя умалчивать и об оборотной стороне медали. Выбирая такое решение, вы прежде всего идёте на риск: сборка получается кустарной, причём вдвойне. У всего есть своя цена, и этот случай не исключение.

TDP. Для пары карт, соединённых мостиком, настоятельно рекомендуется брать модели с турбинным охлаждением: из-за обилия выделяемого тепла выбрасывать горячий воздух от двух раскалённых «печек» прямо в корпус — плохая идея по целому ряду причин. Отсюда вытекает и второй фактор.
Шум. Очевидно, что две видеокарты прежних поколений под максимальной нагрузкой не только обогреют комнату, но и будут ощутимо шуметь. Если вы не можете позволить себе тихий Mac Studio, с этим, вероятно, придётся смириться.
Долговечность. Гарантию на подобные карты дают редко, а на самостоятельно собранную конфигурацию — тем более. Работа с языковыми моделями создаёт износ на уровне майнинга, а в реальных боевых условиях такие карты ещё не успели себя зарекомендовать. Выход из строя из-за локального перегрева, деградации текстолита или отвала BGA-шаров под GPU — вполне реальный сценарий.

В заключение отмечу: каждый выбирает исходя из своего бюджета и требований. Кому-то подойдут тихие и удобные Mac Studio или мини-ПК с NPU, а кому-то — решения, описанные в этой статье. Я лишь хотел напомнить, что и у простых пользователей есть доступные народные варианты. Здесь я подробно рассмотрел именно феномен 2080 Ti, но это далеко не единственная подобная схема: энтузиасты проделывают то же самое с бывшими майнинговыми картами, а порой даже с серверными процессорами и ускорителями.