Sparse Attention

Linformers

Architecture transformer avec complexité linéaire utilisant une projection des clés et valeurs dans une dimension réduite k << n, permettant de traiter des séquences très longues efficacement.

← Geri