Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
NODE
Neural Oblivious Decision Ensembles, une architecture hybride qui intègre des arbres de décision oblivious dans un réseau de neurones pour traiter des données structurées.
Arbre de Décision Oblivious
Un arbre de décision où tous les nœuds à une même profondeur utilisent la même caractéristique pour la partition, simplifiant la structure et améliorant la différentiabilité.
Fonction d'Activation Oblivious
Une fonction d'activation non-linéaire qui émule le comportement de seuillage d'un nœud d'arbre de décision, permettant une intégration transparente dans les réseaux de neurones.
Entraînement End-to-End
Processus d'optimisation où l'architecture NODE complète, incluant les structures arborescentes et les poids neuronaux, est entraînée simultanément via rétropropagation.
Entropie Binaire Lissée
Une version régularisée de l'entropie croisée utilisée dans NODE pour stabiliser l'entraînement et éviter les partitions triviales dans les arbres de décision.
Couche de Décision Neuronale
Une couche de réseau de neurones qui implémente un ensemble d'arbres de décision oblivious, agissant comme un module de décision différentiable.
Partition de Caractéristiques
Le processus par lequel NODE sélectionne et divise les caractéristiques d'entrée à chaque niveau de profondeur de l'arbre oblivious pour maximiser le gain d'information.
Régularisation de Complexité
Une pénalité appliquée durant l'entraînement de NODE pour contrôler le nombre de feuilles dans les arbres et éviter le surapprentissage, similaire à l'élagage.
Interprétabilité Hybride
La capacité de NODE à fournir des explications à la fois globales (via la structure des arbres) et locales (via les chemins de décision), combinant les avantages des deux approches.
Fonction de Feuille Paramétrée
La valeur de sortie d'une feuille dans un arbre NODE, qui n'est pas une constante mais une fonction linéaire des caractéristiques d'entrée, apprise durant l'entraînement.
Dérivée de Structure Arborescente
Le calcul du gradient par rapport à la structure même de l'arbre (choix de caractéristiques), rendu possible par la nature différentiable des arbres oblivious dans NODE.
Ensemble d'Arbres Neuronaux
La composition finale du modèle NODE, qui empile plusieurs couches de décision neuronales pour former un puissant ensemble d'arbres de décision.
Routage Doux (Soft Routing)
Mécanisme dans NODE où un échantillon d'entrée est distribué sur plusieurs branches d'un arbre avec des probabilités, au lieu d'un routage dur et binaire.
Optimisation par Descente de Gradient
La méthode d'optimisation principale pour NODE, qui ajuste simultanément les poids des feuilles et les choix de caractéristiques des nœuds via des gradients.
Stabilité Numérique
Une propriété clé de NODE, assurée par des fonctions d'activation et des fonctions de perte spécifiquement conçues pour éviter les problèmes de gradient comme la saturation ou l'explosion.
Généralisation sur Données Tabulaires
La performance supérieure de NODE sur les ensembles de données structurées, où il capture efficacement les interactions non-linéaires entre les caractéristiques tabulaires.
Architecture Scalable
La conception de NODE qui permet l'ajout de couches et d'arbres pour modéliser des relations de plus en plus complexes sans modification fondamentale de l'algorithme.