Efficient Transformers

Local Attention

Mécanisme d'attention restreint à des voisinages locaux autour de chaque position, réduisant drastiquement le nombre de paires de tokens à considérer. Cette approche est particulièrement efficace pour les données avec structure locale forte.

← Retour