AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
Post-LNトランスフォーマー
レイヤー正規化をアテンション層およびフィードフォワード層の後に適用する、オリジナルのトランスフォーマーアーキテクチャ。より精密な学習率の調整が必要となる。
用語
ガンマとベータ
正規化された値をそれぞれスケーリングおよびシフトさせ、ネットワークの表現力を維持するための、レイヤー正規化の学習可能なパラメータ。
用語
ゼロセンタリング
データをゼロを中心に配置するために、レイヤー正規化において活性化の平均を減算するプロセス。これにより、勾配の最適化が容易になる。
用語
単位分散
レイヤー正規化において活性化を単位分散（分散が1）にするための標準化。これにより、数値的安定性が確保され、層間で一定の勾配が保たれる。
用語
勾配の安定性
バックプロパゲーション中に勾配を安定に保つレイヤー正規化の特性。深いトランスフォーマーにおける勾配爆発や勾配消失の問題を回避する。
用語
イプシロン・パラメータ
正規化された分散の計算時にゼロによる除算を防ぎ、数値的安定性を確保するために、レイヤー正規化の分母に加えられる小さな定数。
用語
活性化分布
レイヤー正規化が一定に保つ、層内の活性化値の分布。トランスフォーマーネットワークの収束と最適化を促進する。
用語
スケール不変性
入力のスケール変化に対してモデルを鈍感にするレイヤー正規化の特性。データの変動に対するモデルのロバスト性を向上させる。
用語
トレーニング速度
レイヤー正規化によりトランスフォーマーの学習が大幅に加速し、より高い学習率とより迅速な収束が可能になります。
用語
隠れ状態の正規化
エンコーダおよびデコーダの各層を通じて安定した活性化を維持するために、トランスフォーマーの隠れ状態にレイヤー正規化を適用します。
🔍