Ветеран Microsoft обучил трансформер на 50-летнем процессоре, который в 200 тысяч раз медленнее Apple M2 Ultra

Эксперимент с PDP-11

Дэйв Пламмер, ветеран корпорации Microsoft и один из ключевых создателей архитектуры Windows, решился на необычный технический эксперимент: он попытался обучить современные нейросетевые алгоритмы на вычислительной технике полувековой давности.

В качестве площадки для испытаний выступила легендарная мини-ЭВМ PDP-11 образца 1979 года. Этот 30-килограммовый «ветеран» индустрии оснащен процессором с тактовой частотой всего 6 МГц и располагает скромным объемом оперативной памяти в 64 кБ.

Для работы Пламмер задействовал специализированную трансформерную модель ATTN-11, написанную на низкоуровневом языке ассемблера для платформы PDP-11.

Целью обучения было научить систему инвертировать последовательность из восьми чисел. Чтобы успешно справиться с задачей, модель должна была самостоятельно «осознать» логическую закономерность. По словам разработчика, данный процесс наглядно демонстрирует принципы работы современных LLM-моделей, таких как GPT, в контексте линейного вывода.

Несмотря на колоссальный разрыв в технологиях, эксперимент увенчался успехом: модель достигла 100% точности, выполнив обучение за 350 итераций. Весь процесс занял всего три с половиной минуты.

Стоит отметить, что согласно прошлогодним тестам Пламмера, вычислительная мощь PDP-11 уступает процессору Apple M2 Ultra в 200 000 раз (в режиме однопоточных вычислений), что делает результат эксперимента еще более впечатляющим.

 

Источник: iXBT