AI Glossary
The complete dictionary of Artificial Intelligence
SAINT
Architecture de réseau de neurones de type Transformer conçue spécifiquement pour les données tabulaires, intégrant des mécanismes d'attention intra-échantillon et inter-échantillon pour capturer les dépendances complexes.
Attention Intra-Échantillon
Mécanisme d'attention qui calcule les relations entre les différentes caractéristiques (features) au sein d'un même échantillon de données tabulaires, permettant de modéliser les interactions intrinsèques des variables.
Attention Inter-Échantillon
Mécanisme d'attention qui évalue les relations et les similarités entre différents échantillons (lignes) d'un jeu de données tabulaires, facilitant l'apprentissage de patterns globaux et la régularisation du modèle.
Tabular Transformer
Adaptation de l'architecture Transformer pour le traitement de données tabulaires, remplaçant généralement les tokens de texte par les caractéristiques des colonnes et utilisant des encodages spécifiques aux types de données.
Encodage Positionnel Tabulaire
Technique d'incorporation de l'information sur la position ou l'importance relative des caractéristiques dans un échantillon tabulaire, essentielle pour que les mécanismes d'attention différencient les colonnes.
Régularisation par Attention
Utilisation des poids d'attention inter-échantillon comme une forme de régularisation, où le modèle apprend à lisser les prédictions en se basant sur les échantillons similaires du jeu d'entraînement.
Projection de Requête, Clé, Valeur
Opérations de transformation linéaire appliquées aux embeddings de caractéristiques pour générer les tenseurs de Requête (Query), Clé (Key) et Valeur (Value) utilisés dans le calcul du score d'attention.
Score d'Attention Tabulaire
Mesure de l'importance ou de la pertinence d'une caractéristique par rapport à une autre, calculée comme le produit scalaire entre les vecteurs Requête et Clé, suivi d'une fonction softmax.
Agrégation par Attention
Processus de combinaison pondérée des informations de plusieurs caractéristiques ou échantillons, où les poids sont déterminés par les scores d'attention, pour produire une représentation contextuelle enrichie.
Normalisation de Couche Transformer
Technique de normalisation appliquée à la sortie de chaque sous-couche (attention ou réseau feed-forward) dans un Transformer, stabilisant l'entraînement et améliorant la convergence du modèle.
Réseau Feed-Forward Positionnel
Module entièrement connecté appliqué indépendamment à chaque représentation de caractéristique, permettant au modèle d'apprendre des transformations non linéaires complexes après le mécanisme d'attention.
Encodage Catégoriel Appris
Méthode où les variables catégorielles sont converties en vecteurs d'embedding dont les valeurs sont optimisées durant l'entraînement, contrairement aux approches statiques comme le one-hot encoding.
Interaction de Caractéristiques d'Ordre Supérieur
Capacité du modèle SAINT à capturer automatiquement des relations complexes et non linéaires entre plus de deux caractéristiques, sans nécessiter d'ingénierie de caractéristiques manuelle.
Séparabilité Linéaire des Données Tabulaires
Hypothèse souvent invalide pour les données tabulaires complexes, justifiant l'utilisation de modèles non linéaires comme SAINT qui peuvent apprendre des frontières de décision plus flexibles.
Bruit Structurel dans les Données Tabulaires
Présence de valeurs aberrantes ou d'incohérences inhérentes aux jeux de données tabulaires, que les mécanismes d'attention de SAINT peuvent atténuer en se concentrant sur les caractéristiques les plus pertinentes.