Увлекательные тесты локальных LLM
С игровым цветом чёрного чая
Вам наверняка ужасно интересно (нет), зачем собирать дома мощный компьютер, да ещё и второй. Мне тоже стало любопытно, поэтому я решил обзавестись такой машиной и заодно найти ответ. А тут ещё на SE7ENе стихийно начался сезон сборок на старых видеокартах — присоединяюсь, пусть и с опозданием! Правда, вместо очередного обзора HUANANZHI и V100 попробуем разобраться, что делать со всем этим железом, особенно если вы не программист и даже не байтослесарь.
Немного о сборке
Конфигурация получилась такой:
|
Компонент |
Тип |
Цена (доставка и пошлина) |
Источник |
|---|---|---|---|
|
AMD EPYC 7452 |
ЦП |
12920 |
Aliexpress |
|
HUANANZHI H12D 8D |
Материнская плата |
34858 (2500) |
Aliexpress |
|
DDR4 16GB 2400 x 4 |
ОЗУ |
18966 |
Aliexpress |
|
Nvidia V100 16GB SXM2 x2 |
ГП |
27862 (2000) |
Aliexpress |
|
Samsung PM9A1 1000 GB |
SSD |
13999 |
DNS |
|
Deepcool Matrexx 70 |
Корпус |
0 |
у друга |
|
Gigabyte ud850gm pg5 v2 |
БП |
5000 |
у друга |
|
Итого |
|
113105 |
Ещё 50 тысяч ушло на водяное охлаждение. Не повторяйте моих ошибок: если можно обойтись без кастомной «воды», лучше так и сделать. Цены приведены на момент покупки, так что можно пустить скупую слезу: прошло всего полгода. Сейчас ко мне едут ещё 128 ГБ оперативной памяти — с ними GLM 5.3 Flash должна работать немного быстрее.
Коротко объясню выбор компонентов. EPYC привлёк 128 линиями PCIe 4.0 и восемью каналами DDR4 за весьма скромные деньги. HUANANZHI H12D 8D — единственная доступная по разумной цене плата для EPYC второго и третьего поколений с четырьмя слотами x16. В качестве альтернативы рассматривалась Supermicro H11SSL-i, но у неё всего три слота, а для поддержки 7xx2 нужны последняя ревизия и обновлённый BIOS. Остальные варианты стоят от 70 тысяч. SSD я просто увидел по привлекательной цене в DNS и сразу отправился за покупкой. С остальным всё довольно очевидно. Кстати, память без проблем разогналась до 2933.
В ультрабюджетном сегменте у этой платформы практически нет альтернатив. Можно недорого собрать систему на Intel C612: каналов памяти будет меньше, а PCIe ограничится версией 3.0. Зато там есть AVX-512, который, возможно, даст преимущество при выгрузке моделей на CPU, хотя это и не точно.
Быстро меняющийся мир локальных LLM
Пока у меня был Claude, на этой машине запускались CFD, Depth Anything, SionnaRT и другие крупные проекты с их использованием, о которых я уже успел забыть. Теперь Claude больше нет, возиться с обходом ограничений лень, да и осадок остался. Значит, самое время поручить слоперирование локальным LLM. Осталось выяснить, справятся ли они. Стандартные задания вроде создания клона Minecraft или интерфейса Windows 11 уже всем знакомы, поэтому попробуем что-нибудь оригинальнее и ближе к повседневному вайбкодингу.
Что такое вайбкод? «Да брось, все и так знают», — скажете вы и будете не совсем правы. При разработке с ИИ можно выделить два подхода: агентную разработку и вайбкодинг. В первом случае вы взаимодействуете с агентом как сеньор с джуном: подробно описываете задачу, способ её решения и требования, а модели остаётся следовать инструкциям. Во втором выступаете скорее менеджером и формулируете запрос на уровне «Сделай зае хорошо». С первым подходом модели справляются неплохо, а вот как обстоят дела со вторым, мы сейчас и проверим.
Мир локального ИИ развивается стремительно. Изначально я планировал протестировать на двух-трёх задачах следующие модели:
-
Gemma 4 26B-A4B
-
Muse Spark 30B
-
Qwen 3.8 27B
Вердикт предполагался простым: Qwen 3.8 на что-то способен, остальные для вайбкодинга не годятся, продолжаем страдать. Но пока я откладывал написание статьи, появились проекты Strata и Maya. Благодаря им на этом железе стало возможно запускать Qwen 3.8 Flash Next (125B), GLM 5.3 Flash (320B) и даже DeepSeek Flash v4.1 1017 (763B). Оба проекта ориентированы на эффективное использование оперативной памяти и потоковую загрузку весов с SSD при инференсе MoE-моделей — и справляются с этим весьма неплохо.
В итоге список моделей для тестирования выглядит так:
-
Huihui-Qwen3.8-27B-abliterated (Q4_K)
-
Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS
-
GLM-5.3-Flash-Maya-S24-IQ2_XXS_S
Примерная производительность моделей:
|
Модель |
Prefill |
Decode |
|---|---|---|
|
Qwen 3.8 27B |
800-1000 |
50-70 |
|
Qwen 3.8 flash next |
500-1400 |
50-70 |
|
GLM 5.3 flash |
200-600 |
15-20 |
|
Deepseek v4.1 flash |
180-250 |
7-15 |
Скорость декодирования сильно зависит от задачи; при написании кода MTP даёт заметное ускорение. DeepSeek формально запускается, но работает слишком медленно для практического применения, поэтому в тестах не участвует.
Инференс и харнесс
Как уже упоминалось, для инференса Qwen 3.8 Flash Next используется Strata, а для GLM 5.3 Flash — Maya. Настроить их успел Opus, поэтому конфигурацию здесь приводить не буду: спросите своего ИИ-агента! Qwen 3.8 27B запускается через llama.cpp со следующими аргументами:
GGML_CUDA_P2P=1 NCCL_P2P_DISABLE=0 NCCL_P2P_LEVEL=SYS GGML_CUDA_ALLREDUCE=nccl \
~/src/llama.cpp-20261006/build/bin/llama-server \
--host 0.0.0.0 --port 8080 \
-m ~/models/qwen38/Huihui-Qwen3.8-27B-abliterated-Q4_K.gguf \
--mmproj ~/models/qwen38/mmproj-F16.gguf \
-ngl 999 -sm tensor -fa on \
-ctk q8_0 -ctv q8_0 \
-c 196608 -b 4096 -ub 512 --parallel 1 --jinja \
-t 4 -tb 8 \
--spec-type draft-mtp --spec-draft-n-max 3 \
--reasoning-budget 16384 --reasoning-effort medium \
--image-min-tokens 1024 --image-max-tokens 4096
В качестве харнесса использовался OpenCode 1.19, для веб-поиска — SearXNG с DuckDuckGo через MCP. Все тесты, разумеется, проводились на Windows 10.
Переходим к тестам
Модели настроены, харнесс готов — пора начинать. Мне хотелось проверить их на менее типичных задачах, чем те, что уже встречались на SE7ENе. Кроме того, я не собирался давать моделям подробный план: интереснее посмотреть, как они справятся с расплывчатым ТЗ и последовательным выполнением нескольких задач. Я стремился решать всё в режиме one-shot. При итеративной работе с LLM шансы на успех выше, но сравнение получается не таким честным и требует гораздо больше времени. Наши тесты намеренно стремятся к максимальной неадекватности, так что пристегнитесь! Орфография во всех промптах сохранена.
Читалка чата на ANSI C
Начнём с простого. Здесь проверяем, способна ли модель самостоятельно найти эндпоинт, изучить его формат, написать и отладить код на ANSI C, а затем настроить кроссплатформенную сборку для Windows.
Промпт
Задача создать консольную читалку для кукарекалки Радио Анонимус. Адрес anon.fm. Тебе необходимо на странице самосотятельно найти «кукарекалку» определить эндпоинт и его формат. При выводе сообщений в консоль необходимо визуально индетефицировать пользователей — раскрашивать ники уникальными индивидуальными цветами. Читалка должна иметь два режима: постоянный — автообновление и выдача новых сообщений и «once» выводит последние n сообщений и завершается.Стек приложения: ANSI C (C89), WolfSSL. Остальные библиотеки, при необходимости, по твоему усмотрению.Сборка: cmake на WSL2 (Ubuntu на нашей системе). Кроссплатформерная сборка под linux и windows.Все комментарии в коде пишутся на simplified technical english (asd-ste100). По готовности сделай к проекту README.md на русском языке
Результат:
Все основные модели хорошо справились с задачей. Код работает; модели 27B пришлось вручную указать, что версия для Windows не запускается, а остальные справились с первого промпта. Визуально результат мне понравился: оба Qwen выбрали похожее оформление, а GLM предложила более оригинальный вариант.
В этом тесте также участвовали Gemma 4 и Muse Spark. Краткое сравнение от ИИ:
🏆 TL;DR — таблица лидеров: кто не зря расходовал электричество
|
Место |
Проект |
Собралось? |
Эндпоинт |
WolfSSL |
Краткий вердикт |
|---|---|---|---|---|---|
|
🥇 |
glmaya |
✅✅ |
✅ верный |
✅ используется |
Строгий C89 с |
|
🥈 |
27b |
✅ |
✅ верный |
✅ используется |
Серьёзный проект: полноценный JSON-парсер, корректная дедупликация, около 2200 строк. Есть пара скрытых проблем, но всё работает. |
|
🥉 |
next |
✅ |
✅ верный |
✅ используется |
Уверенный середняк. Загрузка CA реализована лучше всех, но парсер хрупкий, а дедупликация со временем даёт сбои. |
|
4-е |
muse |
❌ |
✅ верный |
⚠️ есть, но отключён |
Нашёл эндпоинт и разобрал поля, но на этом успехи закончились. Проект не собирается, проверка TLS отключена, стек занимает 3,4 МБ. |
|
💩 |
gemma |
❌ |
❌ неверный |
❌ отсутствует |
Заготовка, которая только выглядит как проект. Вместо WolfSSL — |
Итог: рабочий исполняемый файл получили три модели — glmaya, 27b и next. muse правильно определила, что читать, но не смогла собрать проект. gemma не разобралась ни с тем, что читать, ни с тем, чем.
Оптимизация инференса на… ESP32
Итак, писать на C модели умеют. А как насчёт немного погрузиться в embedded? ESP32 — проверенная классика, и обучающих данных по ней много, поэтому возьмём что-нибудь менее очевидное. Например, ESP32S3 — это не просто Wi-Fi SoC, а ещё и секретный DSP, причём один из самых выгодных по цене. О его векторных инструкциях известно меньше, так что попробуем с их помощью оптимизировать движок инференса esp32-ai (примерно до коммита 97018d5 движок был написан на чистом C). Fable 5 сумел добиться 22–31 т/с. Что покажут локальные модели?
Промпт
В рабочей папке лежит проект esp32-ai. Это проект инференса малой языковой модели на ESP32S3. Твоя задача ускорить инференс. Движок инференса в референсном проекте написан на чистом C, проект на arduino. Необходимо изучить проект, докачать необходимое если отсутствует, понять каким образом устроен движок инференса. Переписать этот движок на esp-idf с использованием векторных инстукций ESP32S3, библиотеки esp-dsp. В системе установлен IDF v6.0.1. Среда включается следующей командой: C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe -NoExit -ExecutionPolicy Bypass -NoProfile -Command «& {. ‘C:\Espressif\tools\Microsoft.v6.0.1.PowerShell_profile.ps1’}»
Для тестирования подключена отладочная плата с ESP32S3 на порту COM12. Взаимодействие с ESP32 по UART, не использовать WiFi. Сделать CLI интерфейс для работы с инференсом, простой, несколько команд позволяющих работать с инференсом и получать статистику.По результатам собрать README.md на русском с описанием того как был устроен изначальный инференс, что ты модифицировал для ускорения и сравнением скорости генерации.
Результаты:
Flash Next не справился: модель где-то застряла и после нескольких сжатий контекста так и не продвинулась дальше. 27B выполнила задачу и получила около 13 т/с — прирост на 30% благодаря функциям библиотеки ESP-DSP. GLM 5.3 достигла примерно 20 т/с, то есть ускорения на 100%, использовав PIE-ассемблер. Оба проекта проверены: логиты побайтно идентичны результатам исходного движка. При разборе выяснилось, что модели оптимизировали head. При этом GLM 5.3 внесла почти те же изменения, что и Fable 5; разница в том, что Fable дополнительно оптимизировал attn.
Проверка креативности: генератор никнеймов
Отвлечёмся от низкоуровневого программирования и посмотрим на модели с другой стороны: способны ли они проявить творческий подход?
Промпт
Давай сделаем генератор никнеймов. Нам нужно создавать интересные никнеймы на русском или английском языке. Принцип работы выбери самосотятельно. Для реализации используй Python. В конце сделай README.md, включающий в себя описание того как генератор устроен.
Результаты:
Оба Qwen создали генераторы псевдослов, хотя и с небольшими различиями. GLM 5.3 ограничилась генерацией словосочетаний. Все модели добавили 1337speak, xXx и другие модные украшения для ников. Результаты получились ничем не примечательными: ледянойщит9, обсидианель, рьяныйНеистовыйКвазар, supernovaRoot. Бу-у, что это вообще такое, на дворе 2012 год? Тест скорее разочаровал: я ожидал чего-то посложнее, хотя бы цепей Маркова. Впрочем, каково ТЗ, таков и результат. Проверка креативности скорее провалена, зато к техническому исполнению почти нет претензий.
Противоречивое ТЗ: рисуем фрактал Мандельброта на GPU
Повысим градус безумия. Этот промпт мне подсказали в одном чате, и, о да, этот манёвр стоил нам семи лет: мы застряли надолго, потому что рисовать фракталы пришлось всем моделям, включая Claude, пока он ещё был доступен.
Промпт
Сделай анимацию пролёта фрактала Мандельброта. Сделай пролёт по известным красивым местам. Сделай чтобы это выглядело красиво. Вывод в видео, mp4 h264, 1920×1080 60 fps. Сделай на ANSI C (C89). Фрактал без зависимостей, никаких библиотек, кодировать видео можно ffmpeg. Для отрисовки используй GPU. Учитывай что у нас архитектура Blackwell.
Здесь есть несколько нюансов. Во-первых, C89 и GPU — не самое совместимое сочетание: CUDA использует C++. Во-вторых, «красивые места» — понятие расплывчатое, хотя у фрактала и есть известные примечательные области. Но мы же вайбкодеры, разве нас остановят такие мелочи?
Результаты:
Здесь разница между моделями уже очевидна. 27B, как бы это помягче сказать, хотя бы сумела нарисовать фрактал.

Qwen 27B воспользовалась установленным в системе nvcc и, по сути, проигнорировала требование ANSI C, хотя за пределами библиотек CUDA код в целом был совместим с этим стандартом.
Qwen Flash Next подошла к задаче иначе и вместо CUDA выбрала… вычислительные шейдеры OpenGL. Тоже не совсем ANSI C, но в целом сойдёт. Результат заметно лучше, хотя движения слишком резкие, разрешение не впечатляет, сглаживания нет, а цвета меняются скачками.

Лучший результат показала GLM 5.3. Сглаживания по-прежнему нет, и мерцание заметно даже после сжатия YouTube, зато какие цвета и какая плавность движения! Смотреть можно почти с удовольствием.

Чтобы соблюсти требование ANSI C, модель пошла ва-банк: рендер написан на PTX с JIT-компиляцией, поэтому CUDA Toolkit во время работы вообще не нужен! И всё это сделала локальная нейросеть на топовом железе 2018–2019 годов.
Для сравнения — результат Opus 5; там же можно найти пару видео от Fable:

Когда софта уже недостаточно: Verilog
С графикой и программированием для GPU разобрались — теперь давайте создадим собственное железо. Неужели Verilog модели уже не осилят? Ладно, просто Verilog, может быть, и осилят, но что насчёт написания HDL, верификации, прошивки реального устройства и тестирования? Задача будет не слишком сложной: сделаем генератор ШИМ, то есть таймер с управлением по UART. Под рукой оказалась Tang Nano 9k, так что…
Промпт
Тебе дана заготовка HDL проекта, Gowin EDA, Verilog. Тестовая плата — Tang Nano 9k. Constraints заданы, у нас 6 светодиодов, uart, reset и вход тактового сигнала 27 МГц. Необходимо реализовать логику, проект должен делать следующее. ШИМ контроллер с 6 выходами (светодиоды). Длительность импульса каждого канала настраивается индивидуально. Пределитель и счетчик общие. Все значения 16 битные. Проверки что длительность импульса меньше счетчика не требуется. Для управления сделать командный интерфейс UART. Через интерфейс должно быть доступно чтение и запись регистров. Формат уточни сам, примерно так:
R,1 — прочитать регистр 1
W,1,2 — записать в регистр 1 значение 2
Интерфейс должен быть терминал совместимым, то есть loopback, рабочее стирание через backspace. Вместо мгновенной интерпретации команды необходимо ожидать перевода строки — это индикатор ввода. Команда чтения возвращает результат, записи K при успешной, E при ошибке. Неизвестные команды E.
Инструменты: D:\Programs\Gowin\Gowin_V1.9.11.02_x64, в системе есть iverilog, python. Gowin programmer автоматически определит подключение плис, UART на COM37. При необходимости веб поиска используй mcp searxng с движком «ddg impersonate» Реализуй проект, отладь и протестируй.
По готовности сделай к проекту README.md на русском языке.
Результаты:

К моему удивлению, справились все модели, даже 27B. Главное различие в том, что Flash Next и GLM догадались сначала уточнить полярность светодиодов на Tang Nano, а 27B не стала этим заниматься, что, впрочем, соответствует ТЗ. Verilog для меня всё ещё новая область, поэтому оценить качество реализации я не могу, но если оно работает — значит, работает. Удивило и затраченное время: 27B понадобилось около полутора часов, Flash Next — примерно полчаса, GLM — около двух часов. Хм, а может, попробовать навайбкодить GPS-приёмник с поиском и слежением на ПЛИС и отладкой через SDR? Как-нибудь в другой раз.
Когда Verilog недостаточно аппаратный: проектируем свою плату
Недавно появился модный AI-native инструмент для разработки печатных плат — tscircuit. Интереснее всего наблюдать за развитием его автотрассировщика: судя по демонстрациям, он претендует на уровень не ниже TopoR. Правда, Opus после двух часов работы с ним жалобно попросил перейти на KiCad. Но вдруг теперь получится? Дадим совсем простую задачу: USB-преобразователь термопары. Возьмём STM32G491 — просто потому, что я зачем-то купил пару десятков, — и элитный MAX31856. Остальное модель пусть продумает сама.
Промпт
@tscirctuit Создай печатную плату преобразователя термопары. Используемые микросхемы: MAX31856, контроллер stm32g491ccu6. Для подключения термопары используй 2-контактный клемник с шагом 5 мм. У STM32 выведен USB, разъем USB-C. Прошивка контроллера через DFU, необходима кнопка выбора режима загрузки boot0. Размер платы не более чем 30×50 мм. Минимум 2 крепежных отверстия под винт M3. USB разъем и клеммник должны быть расположены с разных сторон платы. У STM32 выведи 4 свободных GPIO пина на разъем с шагом 2.54. Печатная плата имеет 2 слоя.
Результаты вызывают смешанные чувства. С одной стороны, удивительно, что вообще получилось нечто похожее на печатную плату. С другой — наконец-то провал: мы нашли задачу, с которой локальные LLM пока не справляются!

Здесь прекрасно всё! Лучше остальных неожиданно справилась Flash Next: для новичка это почти неплохая плата. USB направлен в правильную сторону, компоненты не перекрываются, углы платы скруглены. Да и рендеры получились разнообразными — модель показала плату со всех сторон. Правда, посадочное место MAX31856 выбрано неверно: микросхема шире.
Qwen 27B зачем-то вывела SWD, хотя этого не требовалось, перепутала QFN48 и LQFP48, развернула USB в сторону платы и скрыла под паяльной маской площадки крепления разъёма. GLM 5.3 Flash сделала почти всё правильно, но ошиблась с посадочным местом STM32. Развёрнутый USB — тоже серьёзный промах, особенно если процитировать рассуждение модели:
Small note: the USB-C model orientation — it faces up/out of board toward viewer, correct-ish. The model might be slightly rotated vs pads? Looks fine.
Тем не менее к схемотехнике замечаний нет. Я не изучал её досконально, тем более что схемы из tscircuit обладают сомнительной читаемостью, но на первый взгляд серьёзных проблем в этой части не видно.
Что ещё?
Пока я писал статью, вышла ещё одна «компактная» модель — Hy4 Flash с 220 миллиардами параметров. Движки под неё пока не оптимизированы, но через llama.cpp она запускается: prefill составляет около 200 т/с, decode — 35 т/с. С первой задачей, читалкой на ANSI C, модель справилась всего за 100 тысяч токенов. Похоже, для домашнего использования она перспективна.
Помимо агентной разработки, определённой популярностью пользуются ИИ-ассистенты. Этот сценарий я так и не оценил. Установил Hermes Agent, рассчитывая получить отличный пример для статьи о преимуществах домашнего ИИ, но просто не нашёл для него подходящих задач и не понял, зачем он мне нужен.
Вместо итогов
Если выбирать победителя, я бы отдал предпочтение Qwen 3.8 Flash Next. Она заметно умнее 27B при той же скорости и значительно быстрее GLM 5.3 Flash. Последнюю имеет смысл использовать для отдельных задач, когда скорость не столь важна.
Разумеется, локальные LLM пока не способны создавать мегапроекты уровня тех, с которыми справлялся Opus. Особенно я не готов доверять им то, что сам вряд ли смогу проверить. И всё же во время подготовки статьи я с некоторым удивлением обнаружил, что локальные модели умеют делать реальные и интересные вещи: не очередную «змейку» в браузере или клон Minecraft, а проекты в полезных лично мне областях. Следующую отладочную плату на отечественном микроконтроллере агент на этих моделях вряд ли разработает, а вот инструменты и библиотеки для неё — вполне возможно.
В One UI 9.5 для Samsung Galaxy S26 Ultra съемка в 24 Мп стала доступна одним нажатием
Астрономы впервые наблюдали полный цикл слияния двух звёзд в Андромеде — от сближения до финальной вспышки
Samsung Galaxy S24 и S25 получили обновление за ноябрь
Российский аналог Starlink обеспечит спутниковый интернет на ВСМ Москва — Санкт-Петербург при скорости до 400 км/ч
На iPhone вышел Andarium для запуска Android и любых APK, но без предустановленного Google Play
Спутник Meridian Space обеспечил высокоскоростную связь на орбите с помощью перенастраиваемой антенны
Немецкая Q.ANT представила фотонный процессор NPU Gen 2+ и запустила на нём ИИ-модель
OpenAI ускорила разработку чипов AMD: ИИ нашёл способ улучшить оптимизированные схемы на 14%