Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Transformer
Architecture de réseau neuronal introduite en 2017 qui utilise exclusivement des mécanismes d'attention pour traiter des séquences de données, révolutionnant le domaine du NLP.
GPT (Generative Pre-trained Transformer)
Famille de modèles de langage auto-régressifs développés par OpenAI, pré-entraînés sur d'immenses corpus textuels puis fine-tunés pour des tâches spécifiques.
Mécanisme d'attention
Technique permettant aux modèles de pondérer différemment l'importance de chaque partie de l'entrée lors de la génération de chaque élément de sortie, améliorant la cohérence contextuelle.
Temperature
Paramètre contrôlant le degré de hasard dans la génération de texte : une faible température produit des textes plus prévisibles, une élevée augmente la créativité mais réduit la cohérence.
Top-k sampling
Méthode d'échantillonnage qui limite la sélection du prochain token aux k tokens les plus probables, équilibrant diversité et qualité dans la génération.
Nucleus sampling (Top-p)
Technique d'échantillonnage adaptatif qui sélectionne le plus petit ensemble de tokens dont la probabilité cumulée dépasse un seuil p, assurant une cohérence variable selon le contexte.
Perplexité
Métrique évaluant la qualité d'un modèle de langage en mesurant sa capacité à prédire un échantillon de texte, avec des valeurs plus faibles indiquant de meilleures prédictions.
ROUGE score
Ensemble de métriques évaluant la qualité du résumé automatique en comparant les n-grammes générés avec ceux des références, principalement utilisé pour les tâches de summarisation.
Prompt engineering
Art et science de concevoir des instructions optimales pour guider les modèles de langage vers des sorties désirées, exploitant au mieux leurs capacités sans modification technique.
Chain-of-thought prompting
Technique de prompting encourageant le modèle à générer un raisonnement étape par étape avant de fournir la réponse finale, améliorant la résolution de problèmes complexes.
RLHF (Reinforcement Learning from Human Feedback)
Méthodologie d'alignement des modèles de langage utilisant le renforcement avec des récompenses basées sur des évaluations humaines pour optimiser les comportements souhaitables.
Modèle auto-régressif
Type de modèle générant du texte token par token en conditionnant chaque nouvelle prédiction sur tous les tokens précédemment générés, permettant une création séquentielle cohérente.
Gradient checkpointing
Technique d'optimisation mémoire réduisant l'empreinte RAM en recalculant certaines activations pendant la backpropagation, permettant l'entraînement de modèles plus volumineux.