AI用語集
人工知能の完全辞典
ベリエーショナル・ドロップアウト
時間ステップ全体でドロップアウトマスクが一定であり、RNNのすべての時間シーケンスに対して同じ非活性化ユニットパターンを適用する正則化技術。
ゾーンアウト
ゼロにする代わりに確率的に前の活性化を循環させる、ドロップアウトの代替となる正則化手法で、時間的情報を保持します。
リカレント・ドロップアウト
RNNのリカレント接続に特化してドロップアウトを適用し、入力-出力接続はそのままにして時間的依存関係をより適切に処理します。
ウェイト・ドロップアウト
活性化ではなくリカレント接続の重みに直接ドロップアウトを適用する技術で、時間における重みの共適合を効果的に削減します。
コネクション・ドロップアウト
個々のユニットではなく層間の接続全体をランダムに無効化するドロップアウトの変種で、より構造化された正則化を作成します。
テンポラル・ドロップアウト
時間次元に適用されるドロップアウト戦略で、ノイズの多いシーケンスに対するロバスト性を向上させるためにランダムに時間ステップ全体を無効化します。
適応的ドロップアウト
ドロップアウト率がパフォーマンスメトリクスやモデルの局所的な複雑さに基づいてトレーニング中に動的に適応される手法。
ドロップコネクト
完全な活性化ではなく、重み行列内の個々の重みをランダムにゼロにするドロップアウトの拡張。
ガウシアンドロップアウト
乗法的な変種で、ドロップアウトノイズがベルヌーイ分布ではなくガウス分布に従う、より穏やかな正則化を提供する手法。
アルファドロップアウト
自己正規化活性化の平均と分散を保持するタイプのドロップアウトで、SELUアーキテクチャに特に適している。
スタンドアウト
ドロップアウト確率が学習されたネットワークによって決定される適応的ドロップアウト技術で、データ依存の正則化を可能にする。
コンクリートドロップアウト
ドロップアウトを連続変数としてモデル化するためにコンクリート分布を使用するベイズ的アプローチで、直接勾配最適化を可能にする。
ベイジアンドロップアウト
ドロップアウトを深層ネットワークにおけるベイズ推論の近似として解釈し、不確実性の測定を提供する。
変分推論ドロップアウト
ドロップアウトを変分推論の方法として定式化し、尤度の下限を直接最適化する。
RNNドロップアウトマスキング
正則化を適用しながら時間的整合性を維持するために、時間ステップ間でドロップアウトマスクを共有する戦略。
レイヤーワイズドロップアウト
RNNの各層に異なるドロップアウト率を適用し、各層の深さと機能に応じて正則化を適応させる。
ドロップアウトスケジューリング
訓練中にドロップアウト率を徐々に調整する戦略で、強い正則化から始めて徐々に減少させる。