Dimensionnalité des vecteurs de représentation interne du transformer, paramètre crucial influençant la capacité du modèle à capturer des caractéristiques complexes et généralement multiple du nombre de têtes d'attention.

📖

termes

Number of Heads

Paramètre définissant le nombre de têtes parallèles dans le mécanisme d'attention multi-têtes, permettant au modèle de se concentrer sur différentes représentations sous-espace simultanément pour une compréhension plus riche.

🔍

Glossaire IA

Hidden Size

Number of Heads

Aucun résultat trouvé