Nvidia передала независимому фонду технологию защиты автономных ИИ-агентов

Nvidia передала проект OpenShell под управление Cloud Native Computing Foundation (CNCF) — некоммерческого фонда при Linux Foundation. Система предназначена для защиты и контроля автономных ИИ-агентов. Кроме того, компания поддержала проект Google Agent Substrate и представила новые открытые компоненты платформы DSX AI Factory Platform.

В основе всех этих разработок лежит Kubernetes — система оркестрации контейнеров для управления распределёнными приложениями, которая становится стандартной средой для выполнения масштабных задач в области ИИ.

OpenShell устанавливает строгие правила для действий программных модулей, позволяя компаниям контролировать использование инструментов, доступ к сервисам вывода моделей и выполнение задач. Возможности решения можно расширять, подключая собственные вычислительные ресурсы, хранилища учётных данных и системы мониторинга. За год с момента запуска инструмент внедрили более 100 организаций, а сообщество внесло в его код свыше 10 000 изменений.

Для эффективного масштабирования таких систем необходимо оптимизировать использование вычислительных ресурсов. Agent Substrate сохраняет среды выполнения ИИ-агентов между задачами и высвобождает мощности во время простоя. В сочетании с Nvidia Dynamo для вывода моделей и KAI Scheduler для распределения ресурсов кластера это позволяет приостанавливать и возобновлять работу агентов в общем пуле, не выделяя отдельный сервер для каждой сессии. Nvidia и Google готовят интеграцию OpenShell и Agent Substrate, чтобы обеспечить единый контроль над агентами в облачных и локальных сетях.

Для ускорения развёртывания инфраструктуры Nvidia анонсировала открытые компоненты Nvidia Kubernetes Engine и Nvidia Kubernetes Recipes. Они автоматизируют управление жизненным циклом кластеров и предоставляют проверенные образы программного обеспечения. Инструмент Nvidia Snapshot восстанавливает сохранённые состояния реплик за считаные секунды без перезапуска нейросети. Партнёры компании испытали решение на системах HGX B300: время подготовки рабочей нагрузки сократилось с 8 минут до 31 секунды, а запуск сервисов обработки запросов ускорился с 2–8,5 минуты до 6–34 секунд.

Разработки поддерживают шесть поставщиков управляемых Kubernetes-сервисов и две телекоммуникационные компании, которые планируют внедрить новые функции в свои продукты. Перевод критически важных компонентов ИИ-инфраструктуры в открытый формат снижает порог входа для предприятий, уменьшает зависимость от проприетарных решений и способствует созданию единой стандартизированной среды для безопасного и экономичного масштабирования автономных систем.

Источник: iXBT