Как ускорить генерацию локальных LLM на Arch Linux в 20 раз
Приветствую сообщество SE7ENа! В этой публикации я поделюсь личным опытом запуска локальных LLM, проверю возможности актуальных нейросетей на своем железе и расскажу, как мне удалось добиться 20-кратного прироста скорости генерации для одной из моделей. Но обо всем по порядку, начнем с технической конфигурации. Спецификации и ОС Мой «LLM-сервер» — это типичный домашний ПК, который на...







