Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Gain d'information
Métrique quantitative mesurant la réduction d'entropie obtenue en partitionnant un ensemble de données selon un attribut spécifique, utilisée par ID3 pour sélectionner l'attribut optimal de division à chaque nœud de l'arbre.
Entropie de Shannon
Mesure mathématique de l'incertitude ou du désordre dans un ensemble de données, calculée comme la somme négative des probabilités multipliées par leur logarithme binaire, servant de base au calcul du gain d'information dans ID3.
Attribut de division
Variable sélectionnée à un nœud donné pour partitionner l'ensemble de données en sous-ensembles plus homogènes, choisie par ID3 sur la base du gain d'information maximal parmi tous les attributs disponibles.
Nœud feuille
Nœud terminal de l'arbre de décision ID3 ne contenant aucune subdivision supplémentaire, représentant une décision finale ou une classification basée sur la classe majoritaire des échantillons contenus dans ce nœud.
Ratio de gain d'information
Variante du gain d'information normalisée par l'entropie intrinsèque de l'attribut, introduite pour corriger le biais de ID3 envers les attributs ayant de nombreuses valeurs possibles.
Ensemble d'entraînement
Sous-ensemble de données utilisé par ID3 pour construire l'arbre de décision, contenant des exemples étiquetés permettant à l'algorithme d'apprendre les relations entre attributs et classes cibles.
Prédiction de classe
Processus de classification dans ID3 où un nouvel échantillon traverse l'arbre depuis la racine jusqu'à une feuille, la classe prédite étant celle associée au nœud feuille atteint selon les tests d'attributs successifs.
Profondeur de l'arbre
Nombre maximal de branches traversées de la racine à n'importe quelle feuille dans l'arbre ID3, influençant directement la complexité du modèle et sa capacité à capturer des motifs dans les données.
Critère de pureté
Mesure d'homogénéité des classes dans un nœud, où un nœud parfaitement pur contient des échantillons d'une seule classe, servant de base à l'évaluation de la qualité des partitions dans ID3.
Variables explicatives
Ensemble d'attributs utilisés par ID3 pour construire l'arbre de décision, chacun étant évalué pour son potentiel de division basé sur sa capacité à réduire l'incertitude concernant la variable cible.