Amazon анонсирует процессор машинного обучения AWS Inferentia

Компания Amazon представила процессор машинного обучения AWS Inferentia. Он разработан специалистам AWS (Amazon Web Services) и, как утверждается, будет обеспечивать высокую производительность при низких задержках и «крайне низкой цене». AWS Inferentia будет поддерживать системы глубокого обучения TensorFlow, Apache MXNet и PyTorch, а также модели, которые используют формат ONNX. 

Производительность AWS Inferentia оценивается в сотни TOPS (10¹² операций в секунду) логических выводов, что позволяет сложным моделям делать быстрые прогнозы. Более того, несколько процессоров AWS Inferentia могут работать вместе, обеспечивая производительность на уровне тысяч TOPS.

Процессоры AWS Inferentia будут доступны для использования с Amazon SageMaker, Amazon EC2 и Amazon Elastic Inference.

Основными поставщиками процессоров, используемых для машинного обучения, являются Intel и Nvidia. Процессор AWS Inferentia не представляет для них угрозы, поскольку Amazon собирается продавать не сами процессоры, а сервис их использования своим облачным клиентам. Однако если компания Amazon сделает ставку на собственные процессоры, она может сократить закупки у Nvidia и Intel — такое предположение высказывает один из источников.