AI用語集
人工知能の完全辞典
バギング
アンサンブル手法で、元のデータセットのブートストラップサンプル上で複数のモデルを作成し、多数決または平均によってそれらの予測を統合する手法。
ブースティング
各モデルが前のモデルの誤りから学び、誤分類された例に重みを付けて段階的に性能を向上させる逐次的な手法
スタッキング
複数のベースモデルの予測をメタモデルを介して組み合わせ、最終的に最適な予測を得るために重みを最適化することを学習するアプローチ。
ランダムフォレスト
決定木のアンサンブルで、バギングを使用し、各分割で特徴量をランダムに選択することで分散を減らし、過学習を避ける手法。
勾配ブースティング
勾配降下法を用いて前のモデルの残差を修正することを学習するモデルを逐次的に構築するブースティングアルゴリズム。
AdaBoost
アダプティブブースティングは、分類が困難なケースに焦点を当てるために、訓練例と弱分類器の重みを調整する。
XGBoost
L1/L2正則化、並列処理、欠損値の効率的な管理を備えた勾配ブースティングの最適化された実装
LightGBM
leaf-wise growthとhistogram-basedアルゴリズムを使用し、大規模データセットでの高速かつ効率的なトレーニングを実現する勾配ブースティングフレームワーク。
CatBoost
事前エンコーディングなしでカテゴリ変数の自動処理を専門とする勾配ブースティングアルゴリズム
投票分類器
複数の分類器の予測を、多数決（ハード・ボーティング）または平均確率（ソフト・ボーティング）によって組み合わせるアンサンブル手法。
Extra Trees
Extremely Randomized Trees utilisant coupes aléatoires complètes pour chaque split sans bootstrap, augmentant la diversité et réduisant le biais.
ブレンディング
スタッキングの変種で、クロスバリデーションではなくホールドアウト検証セットを使用してメタモデルを訓練する手法。よりシンプルだが、より頑健ではない。
動的アンサンブル選択
予測する各新しいインスタンスに対して、有能なモデルのサブセットを動的に選択し、ローカルなパフォーマンスを最適化する手法。
アンサンブル多様性
ベースモデル間の多様性を測定・最大化し、アンサンブルの頑健性を向上させ、相関誤差を低減させる技術。
ハイブリッドアンサンブルメソッド
異なるアンサンブル技術（バギング＋ブースティング）の組み合わせ、またはニューラルネットワークのような他のパラダイムの統合。