Attention Sparse

Variable Length Attention

Technique adaptative où la taille de la fenêtre d'attention varie selon les tokens ou les couches du réseau pour optimiser l'utilisation computationnelle.

← Quay lại