Линейное и эффективное внимание

Эффективные Трансформеры

Категория архитектур Трансформеров, разработанных для преодоления квадратичной сложности механизма внимания, использующих такие техники как линейное, разреженное или низкоранговое внимание для обработки более длинных последовательностей.

← Назад