Qwen и локальные нейросети на Mac mini: зачем это нужно?

Зачем мне локальная нейросеть? Всё просто: в моих проектах периодически нужны API различных моделей, а обращения к ним нередко платные. Например, при использовании Claude или ChatGPT для создания презентаций и PDF стоимость может доходить до 3 долларов за файл, а десять запросов иногда обходятся в доллар. Локальная модель позволяет обрабатывать такие задачи без оплаты каждого запроса: ключ API я выдаю себе сам, и обращаться к сторонним облачным серверам не приходится.

Чем здесь интересен Mac mini? У видеокарты RTX, например, есть собственная видеопамять — скажем, 12 ГБ, и модель в идеале должна помещаться в неё целиком. В Mac с процессором ARM память общая, поэтому модели может быть доступна большая часть оперативной памяти. Но не вся: на моём Mac mini с 16 ГБ видеоядро получает около 10,7 ГБ, остальное занимает система. Это даже меньше, чем 12 ГБ у RTX. Модель с 14 миллиардами параметров занимает около 9 ГБ и помещается целиком. А для модели на 32 миллиарда требуется примерно 20 ГБ, так что она уже не влезает. Получается, при 16 ГБ преимущество общей памяти почти незаметно и становится ощутимым скорее на Mac с 32 ГБ и больше. Модель 14B на моём компьютере выдаёт около 11 токенов в секунду. Судя по чужим тестам, подержанная RTX 3060 работает с такой же моделью примерно вдвое быстрее.

Есть у Mac mini и другие достоинства. Ollama устанавливается одной командой и сразу работает, автоматически используя видеоядро Mac. Драйверы отдельно ставить не нужно. Сам компьютер компактный и тихий: в простое потребляет около 4 Вт, хотя под нагрузкой расход может достигать 65 Вт. Кроме того, его можно использовать как сервер и хранить на нём данные. Впрочем, специально Mac я не выбирал: он достался мне почти бесплатно.

Как у меня появился Mac mini

Полгода назад компьютер принёс партнёр: рассказал, что сам использует такой для работы с Claude, и поделился со мной. Сначала я не очень понял, зачем для Claude нужен Mac, если можно взять тот же VPS. Но решил попробовать и зарегистрировал компьютер, сразу выбрав европейский App Store.

Некоторое время он просто пылился в офисе — подходящего применения я ему не находил. Одно время мы запускали на нём сервер видеонаблюдения, пробовали и другие варианты. Кажется, тогда он стоил порядка 60–70 тысяч рублей. Формально компьютер принадлежит компании, но никому не был нужен, поэтому я забрал его себе.

Развёртывание я почти полностью поручил Claude

Первую модель я устанавливал с помощью Claude Code: попросил агента выполнить всю настройку за меня. Так удалось сэкономить время и почти не заниматься процессом вручную.

Поначалу я скачал множество моделей. Загрузка шла долго, VPN периодически отключался, а подключиться к компьютеру по SSH не всегда удавалось. В итоге я настроил VNC: Mac находится в моей локальной сети, и при необходимости я могу подключиться к нему и ввести пароль.

У Claude есть своеобразная панель управления со списком серверов и ключами доступа. Вход по SSH с паролем я отключил, поэтому подключение возможно только по ключу. Сам Mac находится в локальной сети, а приложение и программисты моей компании, с которыми я поделился API, обращаются к нему через туннель до моего сервера. Публичного IP-адреса и открытых портов у Mac нет.

В последнее время я уже не боюсь доверять подобные задачи Claude. Правда, при интеграции с 1С он допустил немало ошибок, но это отдельная история. Да и там, на мой взгляд, проблема скорее в самой 1С, чем в Claude.

Как я использую его сейчас

В основном локальная модель заменяет платные API в моём приложении о здоровом образе жизни. Модели здесь достаточно лёгкие, поэтому я прошу Claude помогать с настройкой инструкций, чтобы получать нужный результат. Одна из задач — распознавание еды на фотографиях. Для этого я использую Vision-модели, преимущественно Qwen: качество меня устраивает, а за запросы платить не нужно. На обработку одного снимка уходит примерно 20–40 секунд.

Мы также пробовали внедрить модель в другой наш продукт, поэтому я создал отдельный ключ для разработчиков. Они занимаются конфигуратором серверного оборудования; проект пока в разработке, над ним работает один программист. Некоторые загруженные модели, например DeepSeek, пока остаются невостребованными.

С какими проблемами пришлось столкнуться

Сначала модель для работы с изображениями llama3.2-vision перестала распознавать блюда. Впрочем, возможно, она вообще не запускалась. В новой версии Ollama она больше не работает, поэтому мы заменили её на Qwen.

Была и неполадка с DNS: интернет вроде бы есть, но сайты не открываются. Честно говоря, я так и не разобрался до конца, что произошло. О проблеме и способе её решения мне рассказал Claude.

Однажды отключили электричество — тогда Mac ещё стоял в офисе и не переехал ко мне домой. Диск зашифрован, поэтому после включения необходимо ввести пароль. Несколько дней меня не было в офисе, и всё это время я не мог ни ввести пароль, ни получить доступ к компьютеру. Этот момент стоит учитывать, если устройство находится не под рукой.

Ещё за несколько дней к шлюзу для программистов 277 раз пытались обратиться без ключа. Я узнал об этом от Claude Code: он собрал статистику и показал попытки подключения. Судя по всему, это были сканеры, которые находят новые адреса. Все попытки завершились отказом.

Итоги

Если больших объёмов задач для API нет, покупать ради них Mac mini, наверное, не стоит. А если компьютер уже есть, дешевле может оказаться покупка подержанной RTX и запуск модели на ней. Mac для таких задач вовсе не обязателен.

P.S. И немного рекламы моего Telegram-канала — надеюсь, помидорами не закидаете: t.me/agukasov

Источник