トランスフォーマーアーキテクチャ

ドロップアウトレイヤー

過学習を防ぐためにトレーニング中にランダムにニューロンを無効化する正則化技術。Transformerの注意層とフィードフォワード層の後に適用される。

← 戻る