Многоголовое внимание

Линеаризованное внимание

Семейство механизмов внимания, которые перезаписывают вычисление внимания, чтобы избежать материализации полной матрицы внимания, позволяя линейную сложность относительно длины последовательности.

← Назад