Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
242
catégories
3 353
sous-catégories
40 780
termes
termes
Attention Layer Normalization
Normalisation appliquée avant ou après le mécanisme d'attention pour stabiliser l'entraînement, généralement implémentée comme pre-norm dans les architectures modernes.
termes
ALiBi Position Embedding
Méthode d'encodage positionnel qui applique des biais linéaires décroissants en fonction de la distance, permettant une meilleure extrapolation aux longueurs de séquence plus longues.
🔍