Attention Mechanisms Variants

Reformer Attention

Implémentation efficace utilisant LSH (Locality Sensitive Hashing) pour limiter l'attention aux tokens similaires seulement. Réduit drastiquement la complexité tout en préservant les relations sémantiques importantes.

← Retour