Увлекательные тесты локальных LLM

Прокомментировать Просмотры: 3

С игровым цветом чёрного чая

Вам наверняка ужасно интересно (нет), зачем собирать дома мощный компьютер, да ещё и второй. Мне тоже стало любопытно, поэтому я решил обзавестись такой машиной и заодно найти ответ. А тут ещё на SE7ENе стихийно начался сезон сборок на старых видеокартах — присоединяюсь, пусть и с опозданием! Правда, вместо очередного обзора HUANANZHI и V100 попробуем разобраться, что делать со всем этим железом, особенно если вы не программист и даже не байтослесарь.

Немного о сборке

Конфигурация получилась такой:

Компонент

Тип

Цена (доставка и пошлина)

Источник

AMD EPYC 7452

ЦП

12920

Aliexpress

HUANANZHI H12D 8D

Материнская плата

34858 (2500)

Aliexpress

DDR4 16GB 2400 x 4

ОЗУ

18966

Aliexpress

Nvidia V100 16GB SXM2 x2

ГП

27862 (2000)

Aliexpress

Samsung PM9A1 1000 GB

SSD

13999

DNS

Deepcool Matrexx 70

Корпус

0

у друга

Gigabyte ud850gm pg5 v2

БП

5000

у друга

Итого

113105

Ещё 50 тысяч ушло на водяное охлаждение. Не повторяйте моих ошибок: если можно обойтись без кастомной «воды», лучше так и сделать. Цены приведены на момент покупки, так что можно пустить скупую слезу: прошло всего полгода. Сейчас ко мне едут ещё 128 ГБ оперативной памяти — с ними GLM 5.3 Flash должна работать немного быстрее.

Коротко объясню выбор компонентов. EPYC привлёк 128 линиями PCIe 4.0 и восемью каналами DDR4 за весьма скромные деньги. HUANANZHI H12D 8D — единственная доступная по разумной цене плата для EPYC второго и третьего поколений с четырьмя слотами x16. В качестве альтернативы рассматривалась Supermicro H11SSL-i, но у неё всего три слота, а для поддержки 7xx2 нужны последняя ревизия и обновлённый BIOS. Остальные варианты стоят от 70 тысяч. SSD я просто увидел по привлекательной цене в DNS и сразу отправился за покупкой. С остальным всё довольно очевидно. Кстати, память без проблем разогналась до 2933.

В ультрабюджетном сегменте у этой платформы практически нет альтернатив. Можно недорого собрать систему на Intel C612: каналов памяти будет меньше, а PCIe ограничится версией 3.0. Зато там есть AVX-512, который, возможно, даст преимущество при выгрузке моделей на CPU, хотя это и не точно.

Быстро меняющийся мир локальных LLM

Пока у меня был Claude, на этой машине запускались CFD, Depth Anything, SionnaRT и другие крупные проекты с их использованием, о которых я уже успел забыть. Теперь Claude больше нет, возиться с обходом ограничений лень, да и осадок остался. Значит, самое время поручить слоперирование локальным LLM. Осталось выяснить, справятся ли они. Стандартные задания вроде создания клона Minecraft или интерфейса Windows 11 уже всем знакомы, поэтому попробуем что-нибудь оригинальнее и ближе к повседневному вайбкодингу.

Что такое вайбкод? «Да брось, все и так знают», — скажете вы и будете не совсем правы. При разработке с ИИ можно выделить два подхода: агентную разработку и вайбкодинг. В первом случае вы взаимодействуете с агентом как сеньор с джуном: подробно описываете задачу, способ её решения и требования, а модели остаётся следовать инструкциям. Во втором выступаете скорее менеджером и формулируете запрос на уровне «Сделай зае хорошо». С первым подходом модели справляются неплохо, а вот как обстоят дела со вторым, мы сейчас и проверим.

Мир локального ИИ развивается стремительно. Изначально я планировал протестировать на двух-трёх задачах следующие модели:

  • Gemma 4 26B-A4B

  • Muse Spark 30B

  • Qwen 3.8 27B

Вердикт предполагался простым: Qwen 3.8 на что-то способен, остальные для вайбкодинга не годятся, продолжаем страдать. Но пока я откладывал написание статьи, появились проекты Strata и Maya. Благодаря им на этом железе стало возможно запускать Qwen 3.8 Flash Next (125B), GLM 5.3 Flash (320B) и даже DeepSeek Flash v4.1 1017 (763B). Оба проекта ориентированы на эффективное использование оперативной памяти и потоковую загрузку весов с SSD при инференсе MoE-моделей — и справляются с этим весьма неплохо.

В итоге список моделей для тестирования выглядит так:

  • Huihui-Qwen3.8-27B-abliterated (Q4_K)

  • Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS

  • GLM-5.3-Flash-Maya-S24-IQ2_XXS_S

Примерная производительность моделей:

Модель

Prefill

Decode

Qwen 3.8 27B

800-1000

50-70

Qwen 3.8 flash next

500-1400

50-70

GLM 5.3 flash

200-600

15-20

Deepseek v4.1 flash

180-250

7-15

Скорость декодирования сильно зависит от задачи; при написании кода MTP даёт заметное ускорение. DeepSeek формально запускается, но работает слишком медленно для практического применения, поэтому в тестах не участвует.

Инференс и харнесс

Как уже упоминалось, для инференса Qwen 3.8 Flash Next используется Strata, а для GLM 5.3 Flash — Maya. Настроить их успел Opus, поэтому конфигурацию здесь приводить не буду: спросите своего ИИ-агента! Qwen 3.8 27B запускается через llama.cpp со следующими аргументами:

GGML_CUDA_P2P=1 NCCL_P2P_DISABLE=0 NCCL_P2P_LEVEL=SYS GGML_CUDA_ALLREDUCE=nccl \
~/src/llama.cpp-20261006/build/bin/llama-server \
  --host 0.0.0.0 --port 8080 \
  -m ~/models/qwen38/Huihui-Qwen3.8-27B-abliterated-Q4_K.gguf \
  --mmproj ~/models/qwen38/mmproj-F16.gguf \
  -ngl 999 -sm tensor -fa on \
  -ctk q8_0 -ctv q8_0 \
  -c 196608 -b 4096 -ub 512 --parallel 1 --jinja \
  -t 4 -tb 8 \
  --spec-type draft-mtp --spec-draft-n-max 3 \
  --reasoning-budget 16384 --reasoning-effort medium \
  --image-min-tokens 1024 --image-max-tokens 4096

В качестве харнесса использовался OpenCode 1.19, для веб-поиска — SearXNG с DuckDuckGo через MCP. Все тесты, разумеется, проводились на Windows 10.

Переходим к тестам

Модели настроены, харнесс готов — пора начинать. Мне хотелось проверить их на менее типичных задачах, чем те, что уже встречались на SE7ENе. Кроме того, я не собирался давать моделям подробный план: интереснее посмотреть, как они справятся с расплывчатым ТЗ и последовательным выполнением нескольких задач. Я стремился решать всё в режиме one-shot. При итеративной работе с LLM шансы на успех выше, но сравнение получается не таким честным и требует гораздо больше времени. Наши тесты намеренно стремятся к максимальной неадекватности, так что пристегнитесь! Орфография во всех промптах сохранена.

Читалка чата на ANSI C

Начнём с простого. Здесь проверяем, способна ли модель самостоятельно найти эндпоинт, изучить его формат, написать и отладить код на ANSI C, а затем настроить кроссплатформенную сборку для Windows.

Промпт

Задача создать консольную читалку для кукарекалки Радио Анонимус. Адрес anon.fm. Тебе необходимо на странице самосотятельно найти «кукарекалку» определить эндпоинт и его формат. При выводе сообщений в консоль необходимо визуально индетефицировать пользователей — раскрашивать ники уникальными индивидуальными цветами. Читалка должна иметь два режима: постоянный — автообновление и выдача новых сообщений и «once» выводит последние n сообщений и завершается.Стек приложения: ANSI C (C89), WolfSSL. Остальные библиотеки, при необходимости, по твоему усмотрению.Сборка: cmake на WSL2 (Ubuntu на нашей системе). Кроссплатформерная сборка под linux и windows.Все комментарии в коде пишутся на simplified technical english (asd-ste100). По готовности сделай к проекту README.md на русском языке

Результат:
Все основные модели хорошо справились с задачей. Код работает; модели 27B пришлось вручную указать, что версия для Windows не запускается, а остальные справились с первого промпта. Визуально результат мне понравился: оба Qwen выбрали похожее оформление, а GLM предложила более оригинальный вариант.

В этом тесте также участвовали Gemma 4 и Muse Spark. Краткое сравнение от ИИ:

🏆 TL;DR — таблица лидеров: кто не зря расходовал электричество

Место

Проект

Собралось?

Эндпоинт

WolfSSL

Краткий вердикт

🥇

glmaya

✅✅

✅ верный

✅ используется

Строгий C89 с -Werror, полноценный парсер, корректная дедупликация, тесты, CA из буфера, ссылки преобразуются в URL.

🥈

27b

✅

✅ верный

✅ используется

Серьёзный проект: полноценный JSON-парсер, корректная дедупликация, около 2200 строк. Есть пара скрытых проблем, но всё работает.

🥉

next

✅

✅ верный

✅ используется

Уверенный середняк. Загрузка CA реализована лучше всех, но парсер хрупкий, а дедупликация со временем даёт сбои.

4-е

muse

❌

✅ верный

⚠️ есть, но отключён

Нашёл эндпоинт и разобрал поля, но на этом успехи закончились. Проект не собирается, проверка TLS отключена, стек занимает 3,4 МБ.

💩

gemma

❌

❌ неверный

❌ отсутствует

Заготовка, которая только выглядит как проект. Вместо WolfSSL — popen("curl ..."), URL неверный, README отсутствует.

Итог: рабочий исполняемый файл получили три модели — glmaya, 27b и next. muse правильно определила, что читать, но не смогла собрать проект. gemma не разобралась ни с тем, что читать, ни с тем, чем.

Оптимизация инференса на… ESP32

Итак, писать на C модели умеют. А как насчёт немного погрузиться в embedded? ESP32 — проверенная классика, и обучающих данных по ней много, поэтому возьмём что-нибудь менее очевидное. Например, ESP32S3 — это не просто Wi-Fi SoC, а ещё и секретный DSP, причём один из самых выгодных по цене. О его векторных инструкциях известно меньше, так что попробуем с их помощью оптимизировать движок инференса esp32-ai (примерно до коммита 97018d5 движок был написан на чистом C). Fable 5 сумел добиться 22–31 т/с. Что покажут локальные модели?

Промпт

В рабочей папке лежит проект esp32-ai. Это проект инференса малой языковой модели на ESP32S3. Твоя задача ускорить инференс. Движок инференса в референсном проекте написан на чистом C, проект на arduino. Необходимо изучить проект, докачать необходимое если отсутствует, понять каким образом устроен движок инференса. Переписать этот движок на esp-idf с использованием векторных инстукций ESP32S3, библиотеки esp-dsp. В системе установлен IDF v6.0.1. Среда включается следующей командой: C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe -NoExit -ExecutionPolicy Bypass -NoProfile -Command «& {. ‘C:\Espressif\tools\Microsoft.v6.0.1.PowerShell_profile.ps1’}»
Для тестирования подключена отладочная плата с ESP32S3 на порту COM12. Взаимодействие с ESP32 по UART, не использовать WiFi. Сделать CLI интерфейс для работы с инференсом, простой, несколько команд позволяющих работать с инференсом и получать статистику.По результатам собрать README.md на русском с описанием того как был устроен изначальный инференс, что ты модифицировал для ускорения и сравнением скорости генерации.

Результаты:
Flash Next не справился: модель где-то застряла и после нескольких сжатий контекста так и не продвинулась дальше. 27B выполнила задачу и получила около 13 т/с — прирост на 30% благодаря функциям библиотеки ESP-DSP. GLM 5.3 достигла примерно 20 т/с, то есть ускорения на 100%, использовав PIE-ассемблер. Оба проекта проверены: логиты побайтно идентичны результатам исходного движка. При разборе выяснилось, что модели оптимизировали head. При этом GLM 5.3 внесла почти те же изменения, что и Fable 5; разница в том, что Fable дополнительно оптимизировал attn.

Проверка креативности: генератор никнеймов

Отвлечёмся от низкоуровневого программирования и посмотрим на модели с другой стороны: способны ли они проявить творческий подход?

Промпт

Давай сделаем генератор никнеймов. Нам нужно создавать интересные никнеймы на русском или английском языке. Принцип работы выбери самосотятельно. Для реализации используй Python. В конце сделай README.md, включающий в себя описание того как генератор устроен.

Результаты:
Оба Qwen создали генераторы псевдослов, хотя и с небольшими различиями. GLM 5.3 ограничилась генерацией словосочетаний. Все модели добавили 1337speak, xXx и другие модные украшения для ников. Результаты получились ничем не примечательными: ледянойщит9, обсидианель, рьяныйНеистовыйКвазар, supernovaRoot. Бу-у, что это вообще такое, на дворе 2012 год? Тест скорее разочаровал: я ожидал чего-то посложнее, хотя бы цепей Маркова. Впрочем, каково ТЗ, таков и результат. Проверка креативности скорее провалена, зато к техническому исполнению почти нет претензий.

Противоречивое ТЗ: рисуем фрактал Мандельброта на GPU

Повысим градус безумия. Этот промпт мне подсказали в одном чате, и, о да, этот манёвр стоил нам семи лет: мы застряли надолго, потому что рисовать фракталы пришлось всем моделям, включая Claude, пока он ещё был доступен.

Промпт

Сделай анимацию пролёта фрактала Мандельброта. Сделай пролёт по известным красивым местам. Сделай чтобы это выглядело красиво. Вывод в видео, mp4 h264, 1920×1080 60 fps. Сделай на ANSI C (C89). Фрактал без зависимостей, никаких библиотек, кодировать видео можно ffmpeg. Для отрисовки используй GPU. Учитывай что у нас архитектура Blackwell.

Здесь есть несколько нюансов. Во-первых, C89 и GPU — не самое совместимое сочетание: CUDA использует C++. Во-вторых, «красивые места» — понятие расплывчатое, хотя у фрактала и есть известные примечательные области. Но мы же вайбкодеры, разве нас остановят такие мелочи?

Результаты:
Здесь разница между моделями уже очевидна. 27B, как бы это помягче сказать, хотя бы сумела нарисовать фрактал.

https://www.youtube.com/watch?v=YwhvV1z5tRM
https://www.youtube.com/watch?v=YwhvV1z5tRM

Qwen 27B воспользовалась установленным в системе nvcc и, по сути, проигнорировала требование ANSI C, хотя за пределами библиотек CUDA код в целом был совместим с этим стандартом.

Qwen Flash Next подошла к задаче иначе и вместо CUDA выбрала… вычислительные шейдеры OpenGL. Тоже не совсем ANSI C, но в целом сойдёт. Результат заметно лучше, хотя движения слишком резкие, разрешение не впечатляет, сглаживания нет, а цвета меняются скачками.

https://www.youtube.com/watch?v=B5sxcPkOZYk
https://www.youtube.com/watch?v=B5sxcPkOZYk

Лучший результат показала GLM 5.3. Сглаживания по-прежнему нет, и мерцание заметно даже после сжатия YouTube, зато какие цвета и какая плавность движения! Смотреть можно почти с удовольствием.

https://www.youtube.com/watch?v=Z0QGWEXhLnY
https://www.youtube.com/watch?v=Z0QGWEXhLnY

Чтобы соблюсти требование ANSI C, модель пошла ва-банк: рендер написан на PTX с JIT-компиляцией, поэтому CUDA Toolkit во время работы вообще не нужен! И всё это сделала локальная нейросеть на топовом железе 2018–2019 годов.

Для сравнения — результат Opus 5; там же можно найти пару видео от Fable:

https://www.youtube.com/watch?v=sjmIazhczZg
https://www.youtube.com/watch?v=sjmIazhczZg

Когда софта уже недостаточно: Verilog

С графикой и программированием для GPU разобрались — теперь давайте создадим собственное железо. Неужели Verilog модели уже не осилят? Ладно, просто Verilog, может быть, и осилят, но что насчёт написания HDL, верификации, прошивки реального устройства и тестирования? Задача будет не слишком сложной: сделаем генератор ШИМ, то есть таймер с управлением по UART. Под рукой оказалась Tang Nano 9k, так что…

Промпт

Тебе дана заготовка HDL проекта, Gowin EDA, Verilog. Тестовая плата — Tang Nano 9k. Constraints заданы, у нас 6 светодиодов, uart, reset и вход тактового сигнала 27 МГц. Необходимо реализовать логику, проект должен делать следующее. ШИМ контроллер с 6 выходами (светодиоды). Длительность импульса каждого канала настраивается индивидуально. Пределитель и счетчик общие. Все значения 16 битные. Проверки что длительность импульса меньше счетчика не требуется. Для управления сделать командный интерфейс UART. Через интерфейс должно быть доступно чтение и запись регистров. Формат уточни сам, примерно так:
R,1 — прочитать регистр 1
W,1,2 — записать в регистр 1 значение 2
Интерфейс должен быть терминал совместимым, то есть loopback, рабочее стирание через backspace. Вместо мгновенной интерпретации команды необходимо ожидать перевода строки — это индикатор ввода. Команда чтения возвращает результат, записи K при успешной, E при ошибке. Неизвестные команды E.
Инструменты: D:\Programs\Gowin\Gowin_V1.9.11.02_x64, в системе есть iverilog, python. Gowin programmer автоматически определит подключение плис, UART на COM37. При необходимости веб поиска используй mcp searxng с движком «ddg impersonate» Реализуй проект, отладь и протестируй.
По готовности сделай к проекту README.md на русском языке.

Результаты:

6 светодиодов с разной яркостью
Шесть светодиодов с разной яркостью

К моему удивлению, справились все модели, даже 27B. Главное различие в том, что Flash Next и GLM догадались сначала уточнить полярность светодиодов на Tang Nano, а 27B не стала этим заниматься, что, впрочем, соответствует ТЗ. Verilog для меня всё ещё новая область, поэтому оценить качество реализации я не могу, но если оно работает — значит, работает. Удивило и затраченное время: 27B понадобилось около полутора часов, Flash Next — примерно полчаса, GLM — около двух часов. Хм, а может, попробовать навайбкодить GPS-приёмник с поиском и слежением на ПЛИС и отладкой через SDR? Как-нибудь в другой раз.

Когда Verilog недостаточно аппаратный: проектируем свою плату

Недавно появился модный AI-native инструмент для разработки печатных плат — tscircuit. Интереснее всего наблюдать за развитием его автотрассировщика: судя по демонстрациям, он претендует на уровень не ниже TopoR. Правда, Opus после двух часов работы с ним жалобно попросил перейти на KiCad. Но вдруг теперь получится? Дадим совсем простую задачу: USB-преобразователь термопары. Возьмём STM32G491 — просто потому, что я зачем-то купил пару десятков, — и элитный MAX31856. Остальное модель пусть продумает сама.

Промпт

@tscirctuit Создай печатную плату преобразователя термопары. Используемые микросхемы: MAX31856, контроллер stm32g491ccu6. Для подключения термопары используй 2-контактный клемник с шагом 5 мм. У STM32 выведен USB, разъем USB-C. Прошивка контроллера через DFU, необходима кнопка выбора режима загрузки boot0. Размер платы не более чем 30×50 мм. Минимум 2 крепежных отверстия под винт M3. USB разъем и клеммник должны быть расположены с разных сторон платы. У STM32 выведи 4 свободных GPIO пина на разъем с шагом 2.54. Печатная плата имеет 2 слоя.

Результаты вызывают смешанные чувства. С одной стороны, удивительно, что вообще получилось нечто похожее на печатную плату. С другой — наконец-то провал: мы нашли задачу, с которой локальные LLM пока не справляются!

Слева-направо: Qwen 3.8 27B. Qwen 3.8 flash next, GLM 5.3 flash
Слева направо: Qwen 3.8 27B, Qwen 3.8 Flash Next, GLM 5.3 Flash

Здесь прекрасно всё! Лучше остальных неожиданно справилась Flash Next: для новичка это почти неплохая плата. USB направлен в правильную сторону, компоненты не перекрываются, углы платы скруглены. Да и рендеры получились разнообразными — модель показала плату со всех сторон. Правда, посадочное место MAX31856 выбрано неверно: микросхема шире.

Qwen 27B зачем-то вывела SWD, хотя этого не требовалось, перепутала QFN48 и LQFP48, развернула USB в сторону платы и скрыла под паяльной маской площадки крепления разъёма. GLM 5.3 Flash сделала почти всё правильно, но ошиблась с посадочным местом STM32. Развёрнутый USB — тоже серьёзный промах, особенно если процитировать рассуждение модели:

Small note: the USB-C model orientation — it faces up/out of board toward viewer, correct-ish. The model might be slightly rotated vs pads? Looks fine.

Тем не менее к схемотехнике замечаний нет. Я не изучал её досконально, тем более что схемы из tscircuit обладают сомнительной читаемостью, но на первый взгляд серьёзных проблем в этой части не видно.

Что ещё?

Пока я писал статью, вышла ещё одна «компактная» модель — Hy4 Flash с 220 миллиардами параметров. Движки под неё пока не оптимизированы, но через llama.cpp она запускается: prefill составляет около 200 т/с, decode — 35 т/с. С первой задачей, читалкой на ANSI C, модель справилась всего за 100 тысяч токенов. Похоже, для домашнего использования она перспективна.

Помимо агентной разработки, определённой популярностью пользуются ИИ-ассистенты. Этот сценарий я так и не оценил. Установил Hermes Agent, рассчитывая получить отличный пример для статьи о преимуществах домашнего ИИ, но просто не нашёл для него подходящих задач и не понял, зачем он мне нужен.

Вместо итогов

Если выбирать победителя, я бы отдал предпочтение Qwen 3.8 Flash Next. Она заметно умнее 27B при той же скорости и значительно быстрее GLM 5.3 Flash. Последнюю имеет смысл использовать для отдельных задач, когда скорость не столь важна.

Разумеется, локальные LLM пока не способны создавать мегапроекты уровня тех, с которыми справлялся Opus. Особенно я не готов доверять им то, что сам вряд ли смогу проверить. И всё же во время подготовки статьи я с некоторым удивлением обнаружил, что локальные модели умеют делать реальные и интересные вещи: не очередную «змейку» в браузере или клон Minecraft, а проекты в полезных лично мне областях. Следующую отладочную плату на отечественном микроконтроллере агент на этих моделях вряд ли разработает, а вот инструменты и библиотеки для неё — вполне возможно.

 

Источник

Похожие статьи

Поиск по играм, новостям и статьям…

Введите не менее двух символов

Введите не менее двух символов