«Тантор Лабс» и «Боцман» представили внешнее NVMe-хранилище KV-кэша для ИИ

«Тантор Лабс» и «Платформа Боцман» представили программно-аппаратное решение для переноса KV-кэша языковых моделей из видеопамяти GPU во внешнее NVMe-хранилище. Сохранённые промежуточные вычисления можно повторно использовать при обработке запросов.

Связь вычислительных серверов с узлом хранения организована через RDMA и NVMe-oF. Аппаратный механизм доступа по ключу должен уменьшать нагрузку на процессоры и объём кэша, который необходимо держать в памяти ускорителей.

Разработчики заявили интеграцию с vLLM, LMCache и NVIDIA Dynamo. «Боцман» отвечает за развёртывание и эксплуатацию ИИ-сервисов на Kubernetes, маршрутизацию запросов через OpenAI-совместимый API и контроль ресурсов.

По сообщению компаний, в их сравнительных испытаниях модуль позволил обслуживать вчетверо больше клиентов на тех же GPU при соблюдении заданных требований к задержке.

Иллюстрация: «Тантор Лабс» / «Платформа Боцман».