Интересные факты и новости из мира науки, космоса и высоких технологий. Популярно о сложных вещах: от ИИ и робототехники до астрономических открытий.
Mamba: архитектура, бросившая вызов трансформерам
В декабре 2023 года в ML-сообществе поднялась шумиха: заголовки пестрели заявлениями о «закате эры трансформеров». Поводом послужила научная работа Альберта Гу и Три Дао с непримечательным названием: «Mamba: линейное моделирование последовательностей с селективными пространствами состояний». В представленной архитектуре отсутствовал механизм…
Читать дальше






