Attention Scaling

Embedding Dimension Normalization

Technique de normalisation basée sur la dimensionnalité des embeddings pour assurer une magnitude comparable des représentations vectorielles dans l'espace d'attention.

← पीछे