एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
Position Encoding
Technique ajoutant des informations de position absolue ou relative aux embeddings d'entrée pour permettre au modèle de comprendre l'ordre des tokens dans une séquence.
Pre-Layer Normalization
Variante de la normalisation de couche appliquée avant les sous-couches d'attention et feed-forward, améliorant la stabilité d'entraînement dans les Transformers profonds.
Post-Layer Normalization
Configuration originale de la normalisation de couche appliquée après les sous-couches d'attention et feed-forward, combinée avec des connexions résiduelles.
RMS Normalization
Variante efficace de la normalisation de couche utilisant uniquement la racine carrée moyenne des activations, réduisant la complexité computationnelle tout en maintenant les performances.
Encoder-Decoder Structure
Architecture bidirectionnelle composée d'un encodeur traitant la séquence d'entrée et d'un décodeur générant la séquence de sortie, fondement des modèles Transformer.
LayerNorm Epsilon
Paramètre de stabilité numérique ajouté dans la normalisation de couche pour éviter la division par zéro lors du calcul de la variance des activations.