Новый алгоритм сложения целых чисел сокращает энергопотребление ИИ на 95%
Источник: DALL-E
Группа инженеров из компании BitEnergy AI, специализирующейся на технологиях искусственного интеллекта, сообщила о разработке метода, который позволяет снизить энергопотребление ИИ-приложений до 95%. На сервере препринтов arXiv была опубликована статья, в которой описана данная технология.
В связи с тем, что ИИ-приложения становятся все более распространёнными, их использование резко возросло, что повлекло за собой значительное увеличение потребностей в энергетических ресурсах и расходов. Для работы больших языковых моделей, таких как ChatGPT, требуется значительная вычислительная мощь, что ведет к высокому потреблению электроэнергии. Например, ежедневные энергозатраты ChatGPT составляют примерно 564 МВтч, чего хватило бы для обеспечения электричеством 18 000 американских домов. Развитие науки и рост популярности подобных приложений могут привести к тому, что их ежегодное энергопотребление достигнет 100 ТВтч в ближайшие годы, сравнимо с энергозатратами на добычу биткоинов.
BitEnergy AI заявляет, что они нашли способ значительно уменьшить объем вычислений для ИИ-приложений без снижения их производительности.
Основное достоинство их метода заключается в его элегантности: вместо использования сложного умножения с плавающей точкой (FPM), применяется целочисленное сложение. Обычно FPM используется для обработки очень больших или малых чисел, что позволяет выполнять вычисления с высокой точностью, однако это также самая энергоемкая часть вычислительного процесса в ИИ.
Их новый метод получил название Linear-Complexity Multiplication, и он базируется на аппроксимации FPM с помощью целочисленного сложения. Испытания продемонстрировали, что этот подход позволяет сократить потребление энергии на 95%.
Единственным минусом является необходимость использования другого оборудования, отличного от применяемого в настоящее время. Однако исследовательская команда уже разработала, создала и протестировала новый вид оборудования. Пока неясно, каким образом будет проходить лицензирование этой технологии, учитывая, что рынок оборудования для ИИ контролируется производителем графических процессоров Nvidia. Реакция компании на эту новинку может существенно сказаться на скорости её внедрения, если заявления BitEnergy AI найдут подтверждение.
Источник: iXBT
AWOL Vision представила лазерный проектор Aetherion Plus: 200 дюймов, 4K, звук на 90 Вт и Google TV за 2400 долларов
10 микрометров и плотность энергии 504 Вт·ч/кг: Китай на шаг ближе к литиевым аккумуляторам нового поколения
Tesla представила твердотельный трансформатор с эффективностью 98,86% и 25-летней гарантией
Nvidia представила кластер из четырёх DGX Spark с 512 ГБ памяти для запуска ИИ-моделей с числом параметров до 700 млрд
Тестирование выявило частоту ШИМ OLED-экранов MacBook Pro всего 240 Гц
Владельцы RTX 5060 Ti и RX 9060 XT почти одновременно пожаловались на оплавление обычных восьмиконтактных разъёмов питания
Oukitel представила батарею на колёсах ёмкостью 20 кВт·ч для питания всего дома
Глобальный сбой Apple: App Store и iCloud недоступны по всему миру