KI-Glossar

📖

Begriffe

Recherche par Faisceau

Algorithme de décodage qui maintient plusieurs hypothèses de séquences en parallèle à chaque étape de génération. Le beam search explore plusieurs chemins possibles pour améliorer la qualité globale des générations.

📖

Begriffe

Couche d'Embedding

Première couche du transformer qui convertit les tokens discrets en vecteurs continus de haute dimension. Ces embeddings capturent les sémantiques et relations entre les mots dans un espace vectoriel dense.

📖

Begriffe

Rétropropagation

Algorithme fondamental d'entraînement des réseaux de neurones calculant les gradients de la fonction de perte par rapport à chaque paramètre. La backpropagation permet l'optimisation itérative des milliards de paramètres des LLM.