Normalização de Camada

Pré-Normalização de Camada

Variante da normalização de camada aplicada antes das subcamadas de atenção e feed-forward, melhorando a estabilidade de treinamento em Transformers profundos.

← Voltar