AI用語集
人工知能の完全辞典
L1正則化
モデルの係数の絶対値に等しいペナルティを追加する正則化手法で、スパース性を促進し、関連性のない特徴量を自動的に除去します。
L2正則化
係数の二乗に比例する項を追加するペナルティ手法で、係数を完全にはゼロにすることなく大きさを縮小し、過学習に対抗します。
Elastic Net
L1正則化とL2正則化の線形結合で、Lassoの変数選択特性とRidgeの安定性を継承し、相関する特徴量がある場合に特に効果的です。
ラムダハイパーパラメータ
係数に適用されるペナルティの強さを制御する正則化パラメータで、lambda=0は正則化なしに対応し、高いlambdaは制約を強化します。
L1ノルム
成分の絶対値の合計として計算されるベクトルノルムで、L1正則化のペナルティ項としてスパース性を誘導するために使用されます。
L2ノルム
成分の二乗の合計の平方根として計算されるユークリッドノルムで、L2正則化で大きな係数にペナルティを課すために使用されます。
シュリンケージ
モデルの係数の大きさを体系的にゼロに向けて縮小するプロセスで、複雑性を減らし汎化性能を向上させます。
バイアス-バリアンスのトレードオフ
機械学習における基本的なトレードオフで、バイアス（系統的誤差）の削減とバリアンス（データの変動への感度）の削減の間の妥協点です。
係数アルファ
Elastic Netにおける混合パラメータで、0（純粋なL2正則化）から1（純粋なL1正則化）の間で変化し、2つのペナルティの相対的な割合を調整します。
正則化パス
正則化パラメータが変化する際のモデル解の軌跡で、係数の進化と漸進的な選択を分析することを可能にします。
重みベクトル
線形モデルで特徴量に適用される乗算係数の集合で、その大きさは正則化技術によって制御されます。
グループペナルティ
係数のグループを同時にペナルティをかけるL1/L2正則化の拡張で、カテゴリ変数や構造化された変数の管理に有用です。
適応的正則化
各係数が予備的な推定に基づいて個別化されたペナルティを受ける正則化の変種で、より精密な変数選択を可能にします。
情報量基準
AICやBICのようなモデルの適合度と複雑さをバランスさせる指標で、最適な正則化パラメータを選択するためによく使用されます。
正則化勾配降下法
正則化されたモデルを効率的に訓練するために、L1/L2ペナルティ項を目的関数に直接組み込んだ最適化アルゴリズム。
座標降下法
L1正則化に特に効率的な最適化手法で、係数を解析的に一つずつ更新します。