Группа инженеров из компании BitEnergy AI, специализирующейся на технологиях искусственного интеллекта, сообщила о разработке метода, который позволяет снизить энергопотребление ИИ-приложений до 95%. На сервере препринтов arXiv была опубликована статья, в которой описана данная технология.
В связи с тем, что ИИ-приложения становятся все более распространёнными, их использование резко возросло, что повлекло за собой значительное увеличение потребностей в энергетических ресурсах и расходов. Для работы больших языковых моделей, таких как ChatGPT, требуется значительная вычислительная мощь, что ведет к высокому потреблению электроэнергии. Например, ежедневные энергозатраты ChatGPT составляют примерно 564 МВтч, чего хватило бы для обеспечения электричеством 18 000 американских домов. Развитие науки и рост популярности подобных приложений могут привести к тому, что их ежегодное энергопотребление достигнет 100 ТВтч в ближайшие годы, сравнимо с энергозатратами на добычу биткоинов.
BitEnergy AI заявляет, что они нашли способ значительно уменьшить объем вычислений для ИИ-приложений без снижения их производительности.
Основное достоинство их метода заключается в его элегантности: вместо использования сложного умножения с плавающей точкой (FPM), применяется целочисленное сложение. Обычно FPM используется для обработки очень больших или малых чисел, что позволяет выполнять вычисления с высокой точностью, однако это также самая энергоемкая часть вычислительного процесса в ИИ.
Их новый метод получил название Linear-Complexity Multiplication, и он базируется на аппроксимации FPM с помощью целочисленного сложения. Испытания продемонстрировали, что этот подход позволяет сократить потребление энергии на 95%.
Единственным минусом является необходимость использования другого оборудования, отличного от применяемого в настоящее время. Однако исследовательская команда уже разработала, создала и протестировала новый вид оборудования. Пока неясно, каким образом будет проходить лицензирование этой технологии, учитывая, что рынок оборудования для ИИ контролируется производителем графических процессоров Nvidia. Реакция компании на эту новинку может существенно сказаться на скорости её внедрения, если заявления BitEnergy AI найдут подтверждение.
Источник: iXBT
