Какую MoE-модель выбрать для локального кодинга на GTX 1080 Ti: перплексия или скорость

Введение

В первой публикации , посвящённой запуску локальной языковой модели на домашнем ПК с далеко не самой передовой видеокартой, я продемонстрировал, что Qwen3.8-Flash-Next класса 176B вполне работоспособна на GTX 1080 Ti с 11 ГБ видеопамяти при задействовании llama.cpp, грамотного offload и DeepSeek Harness. Производительность оказалась скромной — порядка 11 токенов в секунду, однако связка функционировала стабильно.

Во второй статье на том же железе тестировалось несколько MoE-моделей (35B, 120B, 176B) в практическом кейсе — разработке элементарного погодного сервера на Go. Неожиданным лидером стала Qwen3.8-35B-A3B-Q4_K_M: она выдала 30 токенов/с и справилась с задачей за четверть часа, тогда как Flash-Next производила вычисления целых три часа.

После выхода материала в комментариях пользователи подсказали ряд упущенных архитектур. Я провёл детальный аналитический поиск и решил восполнить пробелы: протестировал две наиболее обсуждаемые модели, а также одну дополнительную — Qwen3.8-35B-A3B-Distill.APEX-I-MiniPlus-V2.1.gguf, привлекшую внимание своим описанием.

В данном материале я публикую показатели перплексии (PPL) на двух корпусах: универсальном естественном языке WikiText-2 и исходном коде на Go, а также метрики скорости генерации через утилиту llama-bench. Такой подход формирует более объективное представление, нежели субъективное «тестирование на скорость выполнения скрипта».

Тестовая конфигурация

Аппаратная часть осталась неизменной по сравнению с прошлыми частями:

• GPU: NVIDIA GeForce GTX 1080 Ti (11 GB VRAM);

• CPU: Intel Core i9-9900K;

• RAM: 64 GB;

• ОС: Ubuntu Linux;

• llama.cpp: кастомная сборка с поддержкой архитектуры qwen4exp, CUDA 12.x, CMAKE_CUDA_ARCHITECTURES=61;

• Формат: GGUF-модели.

Все замеры PPL выполнялись с фиксированными параметрами: n_ctx=512, batch_size=2048, n_seq=4. Объём выгружаемых на GPU слоёв (-ngl) подбирался индивидуально во избежание ошибки OOM — это напрямую влияет на быстродействие, но абсолютно не затрагивает перплексию.

Подготовительный этап

Для проверки на естественном языке применялся стандартный датасет wiki.test.raw (WikiText-2). Для оценки текстовых навыков в программировании я сформировал корпус Go-кода из репозиториев The Pile на GitHub. Итоговый файл объемом 6,6 МБ насчитывал 237 923 строки, что позволило выделить 4570 чанков при размере контекста 512, гарантируя высокую достоверность результатов.

Выбор Go обусловлен практической необходимостью: я постоянно пишу на этом языке и стремлюсь оценить, насколько нейросеть «понимает» его синтаксис, избегая заезженных питоновских бенчмарков.

Тестируемые образцы

Модель	Квантование	Объем	Примечание
Qwen3.8-27B-UD-Q4_K_M.gguf	Q4_K_M	~15.3 GiB	Плотная 27B, базовая
Qwen3.8-35B-A3B-Q4_K_M.gguf	Q4_K_M	~20.2 GiB	MoE 35B, эталон из прошлой статьи
Qwen3.8-35B-A3B-Distill.APEX-I-MiniPlus-V2.1.gguf	IQ3_XXS	~13.7 GiB	MoE 35B, альтернативная

Результаты: перплексия

WikiText-2 (естественная речь), n_ctx=512

Модель	PPL	Скорость, с/проход
27B UD-Q4_K_M	6.9642 ± 0.045	10.72
35B-A3B Q4_K_M	6.9559 ± 0.045	6.33
35B-A3B Distill.APEX IQ3_XXS	7.1503 ± 0.046	4.09

Стоит отметить: у 27B Q4_K_M и 35B-A3B Q4_K_M показатели PPL практически тождественны — 6.96 против 6.956. При этом дистиллированный MoE-вариант демонстрирует в 1.7 раза большую скорость. Данная сборка уступает по точности (7.15), но выигрывает в таймингах (4.09 сек/проход).

Корпус Go-кода, n_ctx=512, 4570 чанков

Модель	PPL	Скорость, с/проход	ETA
27B UD-Q4_K_M	1.5943 ± 0.002	10.75	3 ч 24 мин
35B-A3B Q4_K_M	1.4849 ± 0.002	6.81	2 ч 10 мин
35B-A3B Distill.APEX IQ3_XXS	1.5662 ± 0.002	4.10	1 ч 18 мин

При обработке исходников Go безоговорочным лидером по PPL стала 35B-A3B Q4_K_M — 1.4849. Этот результат значительно лучше, чем у 27B (1.5943) и альтернативной сборки (1.5662). Следовательно, MoE-сеть точнее прогнозирует логику Go-программ, несмотря на меньшее количество активных весов на токен.

С чем связана столь низкая PPL на коде?

Значения перплексии в диапазоне 1.48–1.59 могут показаться чересчур оптимистичными. Причина кроется в том, что исходный код значительно более структурирован и предсказуем по сравнению с живым языком: строгая иерархия, повторяющиеся операторы, отступы и синтаксические конструкции позволяют модели легко улавливать паттерны. По этой причине абсолютные величины PPL для кода и текста несопоставимы — это принципиально разные шкалы. Ключевое значение имеет исключительно соотношение метрик между моделями в рамках одной тестовой базы.

Результаты: производительность (llama-bench)

Модель	pp512, t/s	tg128, t/s	-ngl
27B UD-Q4_K_M	196.03 ± 6.01	4.04 ± 0.00	40
35B-A3B Q4_K_M	392.12 ± 4.78	21.40 ± 0.81	20
35B-A3B Distill IQ3_XXS	621.37 ± 8.85	31.66 ± 0.03	30

Здесь картина предельно ясна:

• 27B — аутсайдер по скорости генерации (4.04 t/s) в силу плотной компоновки: вся масса из 27 миллиардов параметров задействуется для обработки каждого токена.

• 35B-A3B Q4_K_M выдает 21.4 t/s благодаря разреженной структуре, где активны лишь около 3B параметров.

• Distill IQ3_XXS разгоняется до 31.66 t/s, занимая первое место. Более глубокое сжатие вкупе с MoE и выгрузкой слоев в VRAM обеспечивают casi восьмикратный отрыв от плотной 27-гигабайтной модели.

В задачах ингеста промптов (pp512) дистиллированная версия также лидирует с результатом 621 t/s.

Аналитический срез: что важнее — точность или скорость?

Сведём все ключевые показатели в единую таблицу.

Модель	PPL Wiki	PPL Go	tg128, t/s	Резюме
27B UD-Q4_K_M	6.964	1.594	4.04	Достойное качество, но критично низкая скорость
35B-A3B Q4_K_M	6.956	1.485	21.40	Эталонное качество вкупе с высокой скоростью
35B-A3B Distill IQ3_XXS	7.150	1.566	31.66	Небольшая потеря в точности ради максимального FPS

Модель 35B-A3B Q4_K_M триумфально лидирует по качеству генерации на обоих типах контента — как в текстовых превью, так и в программном коде. При этом она превосходит плотную 27B по скорости генерации в 5.3 раза.

Версия Distill IQ3_XXS незначительно проигрывает в перплексии (7.15 против 6.96 на Wiki, 1.566 против 1.485 на Go), но выдает в полтора раза больше токенов в секунду. Для автономных агентных сценариев, где критически важна скорость итераций, это решающий фактор.

Вариант 27B UD-Q4_K_M не оправдывает ожидания ни по точности, ни по производительности. Ее единственный плюс — скромный объем (15.3 GiB против 20.2 GiB), актуальный лишь при жёстком дефиците дискового пространства или видеопамяти.

Практические рекомендации

Оптимальный баланс производительности и точности

Qwen3.8-35B-A3B-Q4_K_M — безальтернативный фаворит. Превосходная PPL на всех корпусах, 21.4 токена/с при генерации и 392 токена/с при обработке контекста. Именно её целесообразно использовать в качестве основного рабочего инструмента.

Максимальная скорость отклика

Qwen3.8-35B-A3B-Distill.APEX-I-MiniPlus-V2.1 (в квантовании IQ3_XXS) выдает впечатляющие 31.66 t/s. Деградация качества минимальна (PPL 7.15 против 6.96), а прирост скорости почти двукратный. Идеальное решение для пакетной обработки данных и продолжительных сессий с ИИ-агентами.

При дефиците дискового пространства

Qwen3.8-27B-UD-Q4_K_M занимает всего 15.3 GiB. Тем не менее, будьте готовы мириться с удручающими 4 t/s генерации, что делает интерактивный диалог некомфортным.

Чего делать точно не стоит

Пытаться задействовать плотную 27-миллиардную модель на GTX 1080 Ti для многоступенчатых агентных задач. Скорость в 4 токена в секунду превращает любые сложные цепочки запросов в бесконечное ожидание. Архитектура MoE в данном сценарии побеждает с колоссальным отрывом.

Итоговые выводы

Главный инсайт данного тестирования заключается в том, что смешанная экспертная архитектура (MoE) на устаревшем оборудовании — это не компромисс, а мощное преимущество. Qwen3.8-35B-A3B в квантовании Q4_K_M превосходит плотную 27B модель как по метрикам точности (PPL 6.956 против 6.964 на Wiki, 1.485 против 1.594 на Go), так и по скорости (21.4 против 4.04 t/s), задействуя при этом всего около 3 миллиардов активных параметров на токен.

Дистиллированная вариация в формате IQ3_XXS доказывает, что даже жесткое квантование позволяет удержать качество в разумных пределах, обеспечивая реактивные 31.66 t/s. Это делает её прекрасным выбором для сред, где скорость работы имеет первостепенное значение.

Видеокарта GeForce GTX 1080 Ti, разменявшая второе десятилетие на рынке, продолжает оставаться актуальным инструментом энтузиаста для локального запуска искусственного интеллекта — при условии грамотного подбора весов и квантования. Объективные тесты перплексии и бенчмарки производительности полностью подтверждаются на практике.

 

Источник