Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
CART (Classification and Regression Trees)
Algorithme fondamental pour construire des arbres de décision utilisant l'indice de Gini pour la classification et la variance pour la régression.
ID3 (Iterative Dichotomiser 3)
Premier algorithme d'arbre de décision utilisant le gain d'information comme critère de division des nœuds.
C4.5 et C5.0
Évolution de ID3 gérant les attributs continus et utilisant le ratio de gain pour éviter le biais vers les attributs à nombreuses valeurs.
Bagging (Bootstrap Aggregating)
Technique d'ensemble créant multiple modèles sur des sous-échantillons bootstrap, fondation des Random Forests.
Feature Importance
Méthode d'évaluation de l'importance des variables basée sur la réduction d'impureté ou la permutation dans les Random Forests.
Out-of-Bag Error
Estimation d'erreur sans validation croisée utilisant les échantillons non sélectionnés dans le bootstrap de chaque arbre.
Tree Pruning (Élagage)
Techniques de réduction de la complexité des arbres pour éviter le surapprentissage (pre-pruning et post-pruning).
Gini Impurity
Mesure de l'impureté d'un nœud calculant la probabilité de mauvaise classification d'un élément choisi aléatoirement.
Information Gain et Entropie
Critères de division basés sur la théorie de l'information mesurant la réduction d'entropie après une partition.
Extra-Trees (Extremely Randomized Trees)
Variante des Random Forests avec sélection aléatoire des seuils de division pour réduire encore plus la variance.
Isolation Forest
Application des Random Forests pour la détection d'anomalies en isolant les observations dans des arbres courts.
Gradient Boosted Trees
Méthode d'ensemble séquentielle construisant des arbres pour corriger les erreurs résiduelles des modèles précédents.