এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
Encodeur-Decodeur
Architecture bidirectionnelle où l'encodeur traite la séquence d'entrée et le décodeur génère la séquence de sortie. Cette structure permet des tâches de transformation comme la traduction automatique ou le résumé de texte.
Masked Attention
Mécanisme d'attention où certaines positions sont masquées pour empêcher le modèle d'accéder aux informations futures. Essentiel dans les décodeurs pour garantir la génération auto-régressive pendant l'inférence.
Position-wise Feed-Forward
Réseau neuronal appliqué de manière identique et indépendante à chaque position de la séquence. Transforme les représentations après le mécanisme d'attention en introduisant de la non-linéarité.
Attention Weight
Scores normalisés par softmax qui déterminent l'importance relative de chaque élément lors du calcul de l'attention. Ces poids sont utilisés pour pondérer la combinaison linéaire des valeurs.
Dropout Layer
Technique de régularisation qui désactive aléatoirement des neurones pendant l'entraînement pour prévenir le surapprentissage. Appliquée après les couches d'attention et feed-forward dans les Transformers.