AI Glossary
The complete dictionary of Artificial Intelligence
162
categories
2,032
subcategories
23,060
terms
terms
Hidden Size
Dimensionnalité des vecteurs de représentation interne du transformer, paramètre crucial influençant la capacité du modèle à capturer des caractéristiques complexes et généralement multiple du nombre de têtes d'attention.
terms
Number of Heads
Paramètre définissant le nombre de têtes parallèles dans le mécanisme d'attention multi-têtes, permettant au modèle de se concentrer sur différentes représentations sous-espace simultanément pour une compréhension plus riche.
🔍