Dimensionnalité des vecteurs de représentation interne du transformer, paramètre crucial influençant la capacité du modèle à capturer des caractéristiques complexes et généralement multiple du nombre de têtes d'attention.

📖

termini

Number of Heads

Paramètre définissant le nombre de têtes parallèles dans le mécanisme d'attention multi-têtes, permettant au modèle de se concentrer sur différentes représentations sous-espace simultanément pour une compréhension plus riche.

🔍

Glossario IA

Hidden Size

Number of Heads

Nessun risultato trovato