Microsoft внедрила новый способ работы RDMA: несколько ПК можно объединять по USB4 для запуска больших ИИ-моделей

Прокомментировать Просмотры: 4

Источник изображения: Videocardz

Microsoft реализовала поддержку RDMA (Remote Direct Memory Access) через USB. Это позволяет объединять несколько компьютеров для запуска более крупных моделей искусственного интеллекта.

Для соединения требуется USB4, обеспечивающий значительно более высокую скорость передачи данных. Поэтому воспользоваться технологией смогут владельцы сравнительно современных ПК. Кроме того, при объединении трех компьютеров один из них должен быть оснащен двумя портами USB4.

Технология RDMA позволяет передавать данные непосредственно между памятью двух систем, обходя большую часть обычного сетевого стека. Благодаря низким задержкам и небольшой нагрузке на процессор она широко применяется в системах хранения данных центров обработки данных и распределенных вычислениях. Теперь у нее появилось еще одно применение.

Сегодня мы представляем разработчикам предварительную версию RDMA через USB4 для Windows. Соедините кабелями USB4 два или более компьютеров с Windows и поддержкой этого интерфейса, чтобы распределить между ними нагрузку одной модели, объединив память и вычислительные ресурсы графических процессоров. При этом не потребуется покупать сетевой адаптер RDMA, настраивать коммутатор или устанавливать сторонние драйверы. 
—

Провайдер NetworkDirect для USB4 и тестовая платформа на базе llama.cpp также доступны как проекты с открытым исходным кодом.

Источник изображения: Microsoft // https://techcommunity.microsoft.com/blog/microsoftusbblog/introducing-rdma-over-usb4%C2%AE-on-windows-run-larger-local-ai-models-across-pcs/4574602

Для демонстрации Microsoft испытала технологию на мини-ПК с процессором Ryzen AI Max+ 395 и 128 ГБ оперативной памяти. Три соединенных компьютера успешно запустили модель Qwen3-235B-A22B с 4-битным квантованием. Результат Microsoft составил около 18,5 токена в секунду, тогда как AMD сообщила о 21,98 токена в секунду на собственной конфигурации.

 

Источник: iXBT

Похожие статьи

Поиск по играм, новостям и статьям…

Введите не менее двух символов

Введите не менее двух символов