Разреженное внимание

Low-rank Approximation

Техника аппроксимации матрицы внимания с помощью разложения низкого ранга, значительно снижающая требования к памяти и вычислениям.

← Назад