Линейное и эффективное внимание

Nyströmformer

Модель, использующая метод Нюстрема для аппроксимации полной матрицы внимания путем выборки небольшого количества опорных точек ('landmarks'), снижая сложность с O(n²) до O(n*m), где m << n.

← Назад