Glossario IA
Il dizionario completo dell'Intelligenza Artificiale
Random Forest
Méthode d'ensemble qui combine des centaines d'arbres de décision entraînés sur des sous-échantillons bootstrap avec sélection aléatoire de variables, réduisant ainsi la variance et évitant le surapprentissage.
Bootstrap Sampling
Méthode d'échantillonnage avec remise qui génère plusieurs sous-ensembles de données de même taille que l'ensemble original, permettant d'estimer la distribution d'un estimateur et de réduire la variance.
Gini Impurity
Critère de division dans les arbres de décision qui mesure la probabilité qu'un élément choisi au hasard soit mal classifié, calculée comme 1 moins la somme des carrés des probabilités de chaque classe.
Random Subspace Method
Technique qui sélectionne aléatoirement un sous-ensemble de caractéristiques pour chaque split dans l'arbre, augmentant la diversité entre les arbres et réduisant la corrélation dans Random Forest.
Extra Trees
Variante de Random Forest qui utilise des seuils de division aléatoires au lieu de chercher le seuil optimal, augmentant la randomisation et réduisant le temps de calcul tout en maintenant la performance.
Decision Tree
Modèle prédictif qui construit une structure arborescente de décisions basées sur les caractéristiques des données, où chaque nœud interne représente un test sur une caractéristique et chaque feuille une prédiction.
Max Features
Hyperparamètre crucial dans Random Forest qui détermine le nombre maximum de caractéristiques à considérer pour chaque split, contrôlant le compromis entre biais et variance.
Node Purity
Mesure de l'homogénéité d'un nœud dans un arbre de décision, où un nœud pur contient des observations appartenant toutes à la même classe ou ayant des valeurs cibles identiques.
Bootstrap Aggregation
Processus mathématique qui combine les prédictions de plusieurs modèles entraînés sur des échantillons bootstrap pour produire une prédiction finale plus stable avec une variance réduite.
Tree Depth
Hyperparamètre contrôlant le nombre maximum de niveaux dans un arbre de décision, influençant directement la complexité du modèle et son risque de surapprentissage.
Minimum Samples Split
Paramètre qui définit le nombre minimum d'observations requis pour diviser un nœud interne, contrôlant la granularité de l'arbre et prévenant la création de branches spécifiques.
Variance Reduction
Objectif principal des méthodes d'ensemble comme Random Forest, qui diminue la sensibilité du modèle aux fluctuations des données d'entraînement grâce à l'agrégation de prédictions diverses.