«Группа Астра» выпустила Боцман AI для запуска ИИ-моделей внутри компаний

«Группа Астра» выпустила Боцман AI, платформу для запуска языковых и других моделей искусственного интеллекта внутри корпоративного контура. Продукт рассчитан на компании, которым нужен доступ к ИИ-моделям без передачи данных во внешние облачные сервисы.

Боцман AI развивает платформу «Боцман», отечественное решение для оркестрации контейнеров на базе Kubernetes. Платформа входит в Astra Dev Platform и ориентирована на команды, которые работают с приложениями в изолированной или регулируемой инфраструктуре.

Как работает Боцман AI

Платформенная команда описывает модель через стандартный Kubernetes-ресурс. После этого система подготавливает хранилище весов, запускает runtime с нужным движком и публикует модель через единый шлюз.

В числе поддерживаемых движков названы vLLM, Ollama, SGLang и FasterWhisper. Обновления моделей проходят без окна недоступности, что важно для сценариев с дорогой GPU-инфраструктурой и постоянной нагрузкой.

Что получают разработчики

Для приложений доступен OpenAI-совместимый API. Это позволяет перенести работу на корпоративную модель без переписывания основного кода, заменив адрес сервиса.

В Боцман AI также встроены автоматическое масштабирование под нагрузку, управление API-ключами, контроль бюджетов и система биллинга. Установка выполняется через Боцман Apps and Marketplace в виде Helm-чарта.

По словам технического директора платформы «Боцман» Михаила Кобика, задача продукта состоит в том, чтобы сделать запуск ИИ-моделей стандартной операцией Kubernetes для платформенных команд, сохранив данные внутри собственного контура компании.