एआई शब्दावली

📖

शब्द

Normalisation de Couche

Technique de régularisation stabilisant l'entraînement en normalisant les activations de chaque couche, appliquée avant ou après les sous-couches d'attention et feed-forward.

📖

शब्द

Mécanisme de Masquage

Procédure empêchant les positions d'attendre aux tokens futurs lors du décodage auto-régressif, et/ou de traiter les tokens de padding dans les séquences de longueur variable.

📖

शब्द

Projection Query-Key-Value

Transformation linéaire des embeddings d'entrée en trois matrices distinctes (Q, K, V) utilisées pour calculer les poids d'attention selon la formule softmax(QK^T/√d_k)V.

📖

शब्द

Positional Encoding Sinusoïdal

Méthode d'encodage positionnel utilisant des fonctions sinusoïdales de différentes fréquences, permettant au modèle d'extrapoler à des longueurs de séquence non vues.

📖

शब्द

Architecture Encodeur-Seulement

Variante Transformer utilisant uniquement la pile d'encodeurs, conçue pour des tâches de compréhension comme la classification ou l'analyse de sentiments (ex: BERT).

📖

शब्द

Architecture Décodeur-Seulement

Variante Transformer utilisant uniquement la pile de décodeurs avec masquage causal, optimisée pour la génération de texte auto-régressive (ex: GPT).

📖

शब्द

Effet Quadratique

Complexité computationnelle et mémoire O(n²) de l'attention standard par rapport à la longueur de séquence n, constituant la principale limitation des Transformers.