Attention Mechanisms Variants

Kernel Attention

Approche remplaçant le softmax par des fonctions noyau positives pour obtenir une complexité linéaire. Permet des approximations efficaces tout en préservant les propriétés mathématiques de l'attention.

← Retour