Positional Encoding

Positional Dropout

Technique de régularisation appliquant une couche de dropout spécifiquement sur les embeddings de position pour éviter la sur-dépendance à ceux-ci.

← Retour