AMD испытывает технологию MEXT для работы с данными DRAM на SSD

AMD испытывает технологию MEXT, которая позволяет достичь 99% максимальной производительности при вдвое меньшем объёме оперативной памяти (DRAM). Для её использования вместе с новым сервером на базе процессора Epyc необходимо приобрести лицензию на программное обеспечение.

Решение использует модели искусственного интеллекта для управления страницами памяти: редко востребованные данные перемещаются в более доступное NVMe-хранилище, а затем возвращаются в DRAM до того, как они понадобятся операционной системе или приложениям. По своему принципу технология напоминает механизм подкачки (SWAP) или файл подкачки в Windows.

AMD купила эту технологию у компании Mext в июне. Бывший генеральный директор Mext Гэри Смердон утверждает, что замена дорогих модулей RDIMM флеш-накопителями позволяет снизить затраты на корпоративные серверы на величину до 83%. По его оценке, клиенты, внедрившие ПО на 145 системах, сэкономили в общей сложности $5 млн на закупке оперативной памяти.

«Даже по осторожным оценкам, в очень крупных системах на оперативную память может приходиться 60, 70 и даже 80–90% общей стоимости сервера», — пояснил он.

По словам Смердона, даже при высокой загрузке памяти значительная часть данных в конкретный момент не используется. Он сослался на исследование Meta*, согласно которому от 50 до 80% страниц памяти остаются невостребованными в течение пяти, десяти и более минут: «Для процессора Epyc пять минут — целая вечность».

MEXT позволяет переносить такие редко используемые страницы на флеш-накопители. Однако, как отмечает Смердон, у этого подхода есть особенность: флеш-память в 50 раз дешевле в пересчёте на бит и потребляет в 30 раз меньше энергии, но работает в 500 раз медленнее.

Поэтому при настройке виртуальных частных облаков (VPC) и серверов специалисты стараются избегать дисковой подкачки: она может резко снизить производительность приложений и помешать выполнению соглашений об уровне обслуживания (SLA). Чтобы технология была эффективной, требовалось обеспечить возврат выгруженных страниц в DRAM до того, как они понадобятся системе.

«Мы поняли, что искусственный интеллект можно использовать для наблюдения за системой и упреждающего возврата нужных страниц в DRAM. Для приложения или операционной системы всё выглядит так, словно данные постоянно находились в оперативной памяти. В основе решения — модель на базе архитектуры трансформеров, похожая на те, что применяются в ChatGPT, Claude и других известных нейросетях. Только вместо следующего слова мы предсказываем, какая страница памяти понадобится системе», — рассказал Смердон.

По его словам, главное — вернуть необходимые страницы в DRAM до поступления запроса. При этом строгий порядок их размещения не важен.

Смердон отмечает, что научить модели точно прогнозировать характер обращения к памяти непросто, поэтому предварительное обучение оказывается нецелесообразным.

Вместо этого система использует одно ядро процессора Epyc и обучает модель «менее чем за одну секунду». Затем модель постепенно уточняется и дообучается, пока не начинает точно предсказывать, какие страницы памяти понадобятся и когда. Как подчёркивает Смердон, всё обучение проходит на ядрах центрального процессора, поэтому платформой может воспользоваться практически любой клиент с процессорами Epyc.

Хотя графический процессор для работы не требуется, в виртуализированных средах ПО необходимо выделять по одному ядру на каждую виртуальную машину или экземпляр виртуального частного облака. Соответственно, накладные расходы растут по мере увеличения числа таких экземпляров. В контейнерных средах, судя по всему, подобных ограничений нет.

AMD утверждает, что технология работает на практике. По словам Смердона, сначала компания сосредоточилась на приложениях, которым требуется большой объём памяти, в том числе на системах автоматизированного проектирования электроники (EDA) и инструментах для создания контента. Позднее поддержку расширили на чувствительные к задержкам приложения, такие как базы данных и конвейеры для автономных ИИ-агентов.

«Когда страницы памяти не используются активно, мы можем перенести их во флеш-память практически без ущерба для производительности», — утверждает он.

По результатам испытаний с пакетом EDA Synopsys PrimeTime, при переносе половины данных во флеш-память с помощью MEXT система сохраняет 95% производительности конфигурации, использующей только DRAM. В тестах AMD при соотношении 25% DRAM и 75% флеш-памяти производительность достигла 80% базового уровня.

Инструментам для проектирования электроники необходим большой объём памяти, однако данные, с которыми ядра работают в каждый отдельный момент, зачастую занимают лишь несколько мегабайт. В других сценариях, например при использовании Apache Spark, по данным команды AMD, сохраняется 99% производительности, даже если половину DRAM в системе заменить флеш-памятью.

Хотя внедрение технологии может несколько снизить производительность, в AMD рассчитывают, что клиенты сочтут такой компромисс оправданным благодаря значительной экономии на оперативной памяти. Её дефицит ощущается на фоне масштабного строительства дата-центров для задач искусственного интеллекта.

Сейчас AMD интегрирует MEXT в линейку решений для корпоративных заказчиков. Сообщается, что ПО будет доступно только для оборудования AMD и станет распространяться по лицензии через OEM-партнёров.

Для работы технологии в системах под управлением Linux достаточно установить драйвер ядра. Кроме того, компания предлагает отдельное приложение RAM View, которое помогает определить, на каких системах и рабочих нагрузках целесообразно применять MEXT.

По данным AMD, сейчас проходит первый этап внедрения MEXT: компания совместно с OEM-партнёрами, в числе которых HPE, готовит системы к работе с технологией. На втором этапе планируется начать продажу лицензий на ПО и поставки платформ Epyc с предустановленным приложением RAM View.

В июле AMD сообщила клиентам о повышении закупочных цен на комплекты «GPU + память». Их стоимость для сборки дискретных ускорителей Radeon увеличилась примерно на 10%. Изменение затронуло карты серии Radeon RX 9000; уведомления о пересмотре цен уже получили Sapphire, ASUS, Vastarmor и XFX.

<sub>Meta Platforms*, а также принадлежащие ей продукты Facebook** и Instagram**:
* признана экстремистской организацией, её деятельность в России запрещена;
** запрещены в России</sub>

Источник