Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
242
catégories
3 353
sous-catégories
40 780
termes
termes
Recherche par Faisceau
Algorithme de décodage qui maintient plusieurs hypothèses de séquences en parallèle à chaque étape de génération. Le beam search explore plusieurs chemins possibles pour améliorer la qualité globale des générations.
termes
Couche d'Embedding
Première couche du transformer qui convertit les tokens discrets en vecteurs continus de haute dimension. Ces embeddings capturent les sémantiques et relations entre les mots dans un espace vectoriel dense.
termes
Rétropropagation
Algorithme fondamental d'entraînement des réseaux de neurones calculant les gradients de la fonction de perte par rapport à chaque paramètre. La backpropagation permet l'optimisation itérative des milliards de paramètres des LLM.
🔍