Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
242
catégories
3 353
sous-catégories
40 780
termes
termes
ALiBi (Attention with Linear Biases)
Alternative au positional encoding utilisant des biais linéaires directement dans les scores d'attention pour représenter les distances entre tokens.
termes
Disentangled Attention
Mécanisme d'attention séparant explicitement les contributions de contenu et de position dans le calcul des scores d'attention.
termes
Multi-scale Positional Encoding
Approche combinant plusieurs échelles de représentation positionnelle pour capturer à la fois les structures locales et globales des séquences.
termes
Position Dropout
Technique de régularisation appliquée spécifiquement aux embeddings de position pour éviter la surdépendance du modèle aux informations positionnelles.
🔍