एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
KV Cache
Optimisation à l'inférence qui met en cache les clés (keys) et valeurs (values) des tokens précédents pour éviter de recalculer les états d'attention à chaque nouvelle génération de token.
RLHF (Reinforcement Learning from Human Feedback)
Paradigme d'alignement où un modèle est affiné par apprentissage par renforcement en utilisant des récompenses dérivées de préférences humaines pour calibrer son comportement.
Mécanisme d'Attention Multi-têtes
Extension de l'attention où plusieurs têtes calculent en parallèle des représentations attentionnelles sur différentes sous-espaces projetées, permettant au modèle de se concentrer sur divers aspects de la séquence.
Décodeur Seulement (Decoder-Only)
Architecture Transformer constituée exclusivement de blocs décodeurs avec masquage causal, optimisée pour les tâches de modélisation et de génération de langage auto-régressives.
Modélisation de la Densité de Probabilité
Objectif fondamental des modèles de langage qui apprennent à estimer la probabilité conditionnelle P(token_t | tokens_<t) pour chaque position dans une séquence.