Sparse Attention

Memory-based Attention

Architecture utilisant une mémoire compressée externe de taille fixe pour stocker les informations pertinentes des tokens passés, permettant l'attention sur des séquences arbitrairement longues.

← Back