AI用語集

📖

用語

GOSS (Gradient-based One-Side Sampling)

LightGBMのサンプリング手法で、勾配が大きいインスタンスはすべて保持し、勾配が小さいインスタンスはランダムにサンプリングすることで、効率と精度のバランスを取る方法。

📖

用語

EFB (Exclusive Feature Bundling)

互いに排他的な特徴量を一つの特徴量にまとめる次元削減技術で、情報損失なく特徴量の数を削減する。

📖

用語

Number of Leaves

LightGBMの主要パラメータで、各木の最大リーフ数を制御し、モデルの複雑さと学習能力に直接影響を与える。

📖

用語

DART (Dropouts meet Multiple Additive Regression Trees)

LightGBMで実装されたブースティングの変種で、ディープラーニングの技術にインスパイアされ、ドロップアウトを使用して一般化性能を向上させる。

📖

用語

L1/L2 Regularization

LightGBMにおける正則化技術で、リーフの重みにペナルティを追加してモデルの複雑さを制御し、過学習を防ぐ。

📖

用語

Metric

学習中にモデルのパフォーマンスを測定するために使用される評価関数で、目的関数とは異なるがモニタリングに不可欠。

📖

用語

Feature Parallelism

LightGBMにおける代替の並列化戦略で、特徴量がワーカー間で水平分散され、最適な分割を見つける。

📖

用語

Voting Parallelism

LightGBMにおけるハイブリッドな並列化技術で、データ並列と特徴量並列を組み合わせ、非常に大規模なデータセットでパフォーマンスを最適化する。