Mecanismo de Atención

Normalización de Capa de Atención

Normalización aplicada antes o después del mecanismo de atención para estabilizar el entrenamiento, generalmente implementada como pre-norm en arquitecturas modernas.

← Volver