Słownik AI
Kompletny słownik sztucznej inteligencji
Blockwise Attention
Approche qui divise la séquence en blocs et calcule l'attention intra-blocs et inter-blocs de manière séquentielle ou hiérarchique. Permet de traiter de très longues séquences en échangeant des informations entre blocs plutôt qu'entre tokens individuels.
Fixed Pattern Attention
Schéma d'attention sparse où les connexions entre tokens suivent un motif prédéterminé et fixe, comme des motifs en bandes diagonales ou en zigzag. Simplifie l'implémentation et garantit une complexité prévisible tout en capturant certaines structures spatiales.
Strided Attention
Variante d'attention sparse où les tokens consultent d'autres tokens à des intervalles réguliers (strides), permettant de capturer des dépendances à différentes échelles temporelles ou spatiales. Combine efficacement les informations locales et globales avec une complexité contrôlée.