Какую MoE-модель выбрать для локального кодинга на GTX 1080 Ti: перплексия или скорость
Введение В первой публикации , посвящённой запуску локальной языковой модели на домашнем ПК с далеко не самой передовой видеокартой, я продемонстрировал, что Qwen3.8-Flash-Next класса 176B вполне работоспособна на GTX 1080 Ti с 11 ГБ видеопамяти при задействовании llama.cpp, грамотного offload и DeepSeek Harness. Производительность оказалась скромной — порядка 11 токенов в секунду, однако связка функционировала...









