Mamba: архитектура, бросившая вызов трансформерам
В декабре 2023 года в ML-сообществе поднялась шумиха: заголовки пестрели заявлениями о «закате эры трансформеров». Поводом послужила научная работа Альберта Гу и Три Дао с непримечательным названием: «Mamba: линейное моделирование последовательностей с селективными пространствами состояний». В представленной архитектуре отсутствовал механизм self-attention — тот самый фундамент, на котором базируются все современные нейросетевые гиганты. При этом Mamba...








