AMD приобрела разработчика ИИ-чипов Taalas для ускорения инференса без традиционной высокоскоростной памяти

Прокомментировать Просмотры: 0

Источник изображения: AMD

AMD завершила покупку канадской компании Taalas, которая разрабатывает специализированные ИИ-чипы. Сумма сделки может составить до $2,9 млрд с учётом $1,4 млрд условных выплат. AMD планирует включить технологии стартапа в планы развития собственных ускорителей и создавать на их основе системные решения в сочетании с GPU Instinct.

Taalas проектирует микросхемы, в которых веса нейросетевой модели физически встроены в структуру чипа. Благодаря этому параметры хранятся и обрабатываются на одном кристалле. Такой подход позволяет отказаться от традиционной высокоскоростной памяти, к которой ускорители обычно обращаются при обработке запросов, а также от сложных технологий корпусирования.

В феврале стартап представил свой первый процессор такого типа — HC1 со встроенной моделью Llama 3.1 8B. По измерениям Taalas, чип генерировал около 17 000 токенов в секунду. Компания утверждала, что на тот момент это было почти в девять раз быстрее результата Cerebras. Однако у архитектуры есть важный недостаток: заменить встроенную модель программным обновлением невозможно — необходимо изготовить новую микросхему. Согласно исходному материалу, этот процесс занимает около двух месяцев.

AMD собирается применять технологию Taalas не как замену GPU Instinct, а как дополнение к ним. Специализированные чипы смогут выполнять инференс конкретных нейросетей — запускать обученные модели и генерировать ответы, а ускорители Instinct станут частью общей вычислительной системы. В официальном сообщении AMD также называет процессоры EPYC, программную платформу ROCm и стоечное решение Helios составляющими своей инфраструктуры для ИИ.

Приобретение расширяет портфель AMD в сегменте специализированных решений для инференса. Компания пока не уточнила, какие именно будущие ускорители получат технологию Taalas и когда эти продукты появятся на рынке.

 

Источник: iXBT

Похожие статьи

Поиск по играм, новостям и статьям…

Введите не менее двух символов

Введите не менее двух символов