Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
TabNet
Architecture de réseau neuronal séquentiel conçue spécifiquement pour les données tabulaires, utilisant un mécanisme de masquage attentionnel pour sélectionner de manière interprétable les caractéristiques pertinentes à chaque étape de décision.
Masquage Attentionnel (Attentive Masking)
Mécanisme au cœur de TabNet qui apprend à masquer séquentiellement les caractéristiques non pertinentes, permettant au modèle de se concentrer sur les variables les plus informatives pour une prédiction donnée.
Apprentissage Séquentiel des Caractéristiques (Sequential Feature Learning)
Processus par lequel TabNet apprend une représentation des données à travers plusieurs étapes, où chaque étape affine la sélection des caractéristiques en se basant sur les informations des étapes précédentes.
Feature Transformer
Module de TabNet qui transforme les caractéristiques d'entrée masquées en une nouvelle représentation de plus haute dimension, utilisant des couches entièrement connectées et une fonction d'activation GLU.
GLU (Gated Linear Unit)
Fonction d'activation utilisée dans le Feature Transformer de TabNet, qui permet un contrôle de flux d'informations en multipliant une projection linéaire par une porte sigmoïde, améliorant la capacité du réseau à modéliser des relations complexes.
Agrégateur (Attentive Transformer)
Composant de TabNet qui génère le masque d'attention pour l'étape de décision suivante, en se basant sur l'état précédent et les caractéristiques transformées pour déterminer où focaliser l'attention.
Pas de Décision (Decision Step)
Unité de traitement fondamentale dans l'architecture TabNet, combinant un Feature Transformer et un Attentive Transformer pour produire une sortie partielle et un masque pour l'étape suivante.
Réseau de Régression Série (SER - Series Regression Network)
Concept théorique sur lequel TabNet s'inspire, consistant à modéliser une prédiction complexe comme une série de décisions plus simples, chacune affinant le résultat final.
Encodage Catégoriel par Embedding
Technique de prétraitement des variables catégorielles pour TabNet, où chaque catégorie est mappée à un vecteur dense de faible dimension appris pendant l'entraînement, permettant au modèle de capturer les relations sémantiques entre les catégories.
Normalisation par Lot (Batch Normalization)
Couche appliquée dans les blocs de TabNet pour stabiliser et accélérer l'entraînement, en normalisant les activations de chaque lot à une moyenne nulle et une variance unitaire.
Régularisation par Éparsité (Sparsity Regularization)
Technique utilisée dans TabNet pour encourager le masque d'attention à ne sélectionner qu'un petit nombre de caractéristiques, favorisant ainsi des modèles plus simples et interprétables.
Architecture à Profondeur Variable (Variable Depth Architecture)
Propriété de TabNet où le nombre de pas de décision effectivement utilisés peut varier pour chaque échantillon, car le modèle peut apprendre à s'arrêter lorsque l'information est suffisante pour une prédiction fiable.
Données Tabulaires
Type de données structurées organisées en lignes et colonnes, typiques des feuilles de calcul ou des bases de données relationnelles, pour lesquelles TabNet est spécifiquement optimisé.
Robustesse aux Caractéristiques Manquantes
Capacité de TabNet à gérer efficacement les valeurs manquantes dans les données d'entrée, en apprenant à les masquer et à s'y adapter sans nécessiter d'imputation préalable complexe.
Apprentissage par Renforcement pour le Masquage
Perspective théorique où le processus de masquage séquentiel dans TabNet peut être vu comme un processus de décision, où le modèle apprend une politique de sélection de caractéristiques pour maximiser une récompense de précision.
Réseau Neuronal à Masquage (Masked Neural Network)
Classe de réseaux neuronaux, dont TabNet est un exemple, qui utilisent des masques appris pour sélectionner dynamiquement des sous-ensembles d'entrées ou de neurones, améliorant l'efficacité et l'interprétabilité.