レイヤー正規化

プレーレイヤー正規化

注意とフィードフォワードのサブレイヤーの前に適用されるレイヤー正規化の変種で、ディープトランスフォーマーにおけるトレーニングの安定性を向上させます。

← 戻る