人工知能の完全辞典
学習を安定させるためにアテンションメカニズムの前または後に適用される正規化。現代のアーキテクチャでは通常プリノームとして実装される。
距離に応じて線形に減少するバイアスを適用する位置エンコーディング手法。より長いシーケンス長への外挿を可能にする。