フィードフォワードネットワーク

内部層正規化

トランスフォーマーアーキテクチャでFFNの前後に層正規化を適用することで、事前正規化（pre-norm）と事後正規化（post-norm）のバリエーションが学習の安定性に影響を与える

← 戻る