Sparse Attention

Fixed Pattern Attention

Schéma d'attention sparse où les connexions entre tokens suivent un motif prédéterminé et fixe, comme des motifs en bandes diagonales ou en zigzag. Simplifie l'implémentation et garantit une complexité prévisible tout en capturant certaines structures spatiales.

← Terug