एआई शब्दावली

📖

शब्द

Pile d'Encodeurs

Empilement de couches identiques transformant la séquence d'entrée en représentations riches et contextuelles, chaque couche contenant attention et feed-forward.

📖

शब्द

Pile de Décodeurs

Architecture composée de couches générant la séquence de sortie, utilisant l'attention masquée pour prévenir les fuites d'informations futures et l'attention croisée avec l'encodeur.

📖

शब्द

Attention Encodeur-Décodeur

Mécanisme permettant au décodeur d'accéder et de se concentrer sur les représentations de l'encodeur pour générer chaque token de sortie de manière informée.

📖

शब्द

Normalisation de Couche

Technique de stabilisation de l'entraînement normalisant les activations pour chaque position, appliquée avant ou après les sous-couches dans l'architecture transformer.

📖

शब्द

Auto-Attention Masquée

Variante de l'auto-attention utilisée dans les décodeurs où les positions futures sont masquées pour prévenir l'utilisation d'informations non disponibles lors de la génération.

📖

शब्द

Attention Produit Scalaire Mis à l'Échelle

Calcul d'attention normalisant les produits scalaires par la racine carrée de la dimension des clés pour stabiliser les gradients lors de l'entraînement.

📖

शब्द

Têtes d'Attention

Sous-espaces indépendants dans l'attention multi-têtes, chacun apprenant à se concentrer sur différents types de relations et motifs dans les données.

📖

शब्द

Embedding de Token

Représentation vectorielle dense et continue de chaque token d'entrée, point de départ de l'architecture transformer avant l'ajout d'informations positionnelles.