Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Modèle Autorégressif
Architecture de modèle générative qui prédit le token suivant en se basant sur tous les tokens précédents, construisant la séquence de manière itérative et séquentielle.
Fenêtre de Contexte
Taille maximale de séquence que le modèle peut traiter simultanément, limitant la quantité d'information historique utilisable pour la prédiction.
Prédiction du Token Suivant
Objectif fondamental des modèles autorégressifs consistant à maximiser la probabilité conditionnelle P(token_t|tokens_1...t-1).
Échantillonnage par Température
Technique de génération contrôlant le degré de hasard dans la sélection du token suivant en ajustant la distribution de probabilité des logits.
Échantillonnage Top-k
Méthode de génération limitant la sélection aux k tokens les plus probables, évitant les tokens de faible probabilité tout en maintenant diversité.
Échantillonnage Nucleus
Stratégie de sélection dynamique basée sur une masse de probabilité cumulative, adaptant le nombre de candidats selon la confiance du modèle.
Recherche par Faisceau
Algorithme de décodage explorant simultanément plusieurs séquences candidates pour trouver la séquence globale la plus probable.
Modèle de Langage Causal
Type de modèle autorégressif entraîné à prédire les tokens futurs basé sur le contexte passé, sans accès aux tokens futurs pendant l'entraînement.
Transformer Decoder-only
Architecture neuronale utilisant uniquement des couches de décodeur avec masquage causal, privilégiée pour les modèles de langage autorégressifs modernes.
Décodage Glouton
Stratégie de génération sélectionnant systématiquement le token de probabilité maximale à chaque étape, garantissant cohérence mais pouvant manquer de créativité.
Génération Autorégressive
Processus de génération textuelle où chaque token produit est immédiatement ajouté au contexte pour influencer la génération des tokens suivants.
Fine-tuning de Modèle de Langage
Processus d'adaptation spécialisée d'un modèle autorégressif pré-entraîné sur des données spécifiques pour améliorer ses performances dans un domaine ciblé.
Apprentissage Zero-shot
Capacité des modèles autorégressifs à accomplir des tâches non vues pendant l'entraînement en exploitant leurs connaissances générales du langage.
Cache KV
Mécanisme d'optimisation stockant les états clés-valeurs des tokens précédents pour accélérer la génération autorégressive séquentielle.
Longueur de Séquence Variable
Capacité des modèles autorégressifs à générer des séquences de longueurs différentes adaptées dynamiquement selon le contenu généré.