«Группа Астра» выпустила Боцман AI, платформу для запуска языковых и других моделей искусственного интеллекта внутри корпоративного контура. Продукт рассчитан на компании, которым нужен доступ к ИИ-моделям без передачи данных во внешние облачные сервисы.
Боцман AI развивает платформу «Боцман», отечественное решение для оркестрации контейнеров на базе Kubernetes. Платформа входит в Astra Dev Platform и ориентирована на команды, которые работают с приложениями в изолированной или регулируемой инфраструктуре.
Как работает Боцман AI
Платформенная команда описывает модель через стандартный Kubernetes-ресурс. После этого система подготавливает хранилище весов, запускает runtime с нужным движком и публикует модель через единый шлюз.
В числе поддерживаемых движков названы vLLM, Ollama, SGLang и FasterWhisper. Обновления моделей проходят без окна недоступности, что важно для сценариев с дорогой GPU-инфраструктурой и постоянной нагрузкой.
Что получают разработчики
Для приложений доступен OpenAI-совместимый API. Это позволяет перенести работу на корпоративную модель без переписывания основного кода, заменив адрес сервиса.
В Боцман AI также встроены автоматическое масштабирование под нагрузку, управление API-ключами, контроль бюджетов и система биллинга. Установка выполняется через Боцман Apps and Marketplace в виде Helm-чарта.
По словам технического директора платформы «Боцман» Михаила Кобика, задача продукта состоит в том, чтобы сделать запуск ИИ-моделей стандартной операцией Kubernetes для платформенных команд, сохранив данные внутри собственного контура компании.
