Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Architecture Transformer
Structure neuronale basée sur des mécanismes d'attention qui permet le traitement parallélisé des séquences textuelles
Tokenisation
Processus de segmentation du texte en unités discrètes (tokens) pour le traitement par les modèles
Fine-tuning
Adaptation spécialisée d'un modèle pré-entraîné sur des données spécifiques pour des tâches ciblées
Prompt Engineering
Conception optimisation des instructions pour guider efficacement les réponses des modèles de langage
Mécanisme d'Attention
Système permettant au modèle de pondérer l'importance des différentes parties du texte lors du traitement
Embeddings de Langage
Représentations vectorielles denses qui capturent le sens sémantique des mots et phrases
Transfer Learning
Réutilisation des connaissances acquises sur un grand corpus pour des tâches spécifiques avec peu de données
Scaling Laws
Principes mathématiques décrivant l'amélioration des performances avec l'augmentation de la taille du modèle
Zero-shot Learning
Capacité des modèles à effectuer des tâches jamais vues lors de l'entraînement sans exemples
Modèles Multimodaux
LLM intégrant le traitement de texte, images, audio et autres modalités dans un cadre unifié
Quantification
Réduction de la précision numérique des poids du modèle pour optimiser l'inférence et le stockage
RAG (Retrieval-Augmented Generation)
Combinaison de récupération d'informations externes avec la génération pour améliorer la précision des réponses
Alignement et Sécurité
Techniques pour garantir que les modèles respectent les valeurs humaines et évitent les comportements nocifs
Modèles Autorégressifs
Architecture générative prédisant le token suivant en se basant sur tous les tokens précédents
LoRA (Low-Rank Adaptation)
Méthode de fine-tuning efficace en mémoire utilisant des matrices de faible rang