AI用語集
人工知能の完全辞典
勾配ブースティング (Gradient Boosting)
予測モデルを逐次的に構築するアンサンブル学習技術。各新しいモデルは、勾配降下法を介して損失関数を最適化することにより、以前のモデルの誤りを修正する。
加法学習
勾配ブースティングの基本原則。最終モデルは複数の弱学習器の予測の重み付き合計であり、各々は全体の性能を向上させるために追加される。
学習率
各弱学習器が最終モデルに与える影響を制御するハイパーパラメータ。過学習を避けるための重み付け係数として機能する。
残差
現在のモデルの予測誤差。観測値と予測値の差として計算され、勾配ブースティングでは次の弱学習器がこれでトレーニングされる。
推定器の数
勾配ブースティングモデルで構築する弱学習器（反復）の数を定義するハイパーパラメータ。複雑さと性能に直接影響を与える。
XGBoost (Extreme Gradient Boosting)
正則化、欠損値処理、木の枝刈り技術を統合し、より高い効率を実現する勾配ブースティングの最適化・並列化実装。
LightGBM
レベル単位(level-wise)ではなくリーフ単位(leaf-wise)の木成長技術を使用する勾配ブースティングフレームワーク。トレーニング速度の向上とメモリ消費の削減を提供する。
CatBoost
順序付き符号化技術と非対称ブースティングスキームを使用し、カテゴリ変数の効率的な処理に特化した勾配ブースティングアルゴリズム。
確率的勾配ブースティング
Gradient Boostingの一種で、各弱学習器が訓練データのランダムなサブセットで訓練され、木間の相関を減らし、汎化性能を向上させます。
特徴量のサブサンプリング
Gradient Boostingにおける正則化技術で、各木ノードの分割でランダムな特徴量のサブセットのみを考慮し、過学習を制限します。
木の最大深さ
各弱学習器の複雑さを制御するハイパーパラメータで、決定分割の数を制限し、Gradient Boostingモデルでバイアスと分散をバランスさせます。
疑似残差
Gradient Boostingにおける残差の一般化で、現在の予測に関する損失関数の負の勾配を表し、様々な損失関数の最適化を可能にします。
回帰ブースティング
連続値を予測することを目的とする回帰問題へのGradient Boostingの適用で、通常は二乗損失または絶対損失関数を使用します。
分類ブースティング
分類問題へのGradient Boostingの適用で、対数損失（交差エントロピー）などの特定の損失関数を使用してクラス確率の最適化を導きます。
L1/L2正則化
Gradient Boostingの損失関数に追加されるペナルティ技術で、木の葉の重みの複雑さを制御し、過学習を減らし、堅牢性を向上させます。