Layer Normalization

Position Encoding

Technique ajoutant des informations de position absolue ou relative aux embeddings d'entrée pour permettre au modèle de comprendre l'ordre des tokens dans une séquence.

← Retour