AI Glossary
The complete dictionary of Artificial Intelligence
GOSS (Gradient-based One-Side Sampling)
Méthode d'échantillonnage de LightGBM qui conserve toutes les instances avec grands gradients et échantillonne aléatoirement celles avec petits gradients, équilibrant efficacité et précision.
EFB (Exclusive Feature Bundling)
Technique de réduction de dimensionnalité regroupant des features mutuellement exclusives en une seule feature, réduisant le nombre de features sans perte d'information.
Number of Leaves
Paramètre principal de LightGBM contrôlant le nombre de feuilles maximales par arbre, influençant directement la complexité et la capacité d'apprentissage du modèle.
DART (Dropouts meet Multiple Additive Regression Trees)
Variante de boosting implémentée dans LightGBM utilisant du dropout pour améliorer la généralisation, inspirée des techniques de deep learning.
L1/L2 Regularization
Techniques de régularisation dans LightGBM ajoutant des pénalités sur les poids des feuilles pour contrôler la complexité du modèle et prévenir le surapprentissage.
Metric
Fonction d'évaluation utilisée pour mesurer les performances du modèle durant l'entraînement, distincte de la fonction objectif mais essentielle pour le monitoring.
Feature Parallelism
Stratégie de parallélisation alternative dans LightGBM où les features sont distribuées horizontalement entre les workers pour trouver les meilleures divisions.
Voting Parallelism
Technique hybride de parallélisation dans LightGBM combinant data et feature parallelism pour optimiser les performances sur très grands datasets.