Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
AutoInt
Architecture de réseau neuronal profond conçue pour modéliser automatiquement les interactions de caractéristiques de haut ordre dans les données tabulaires, en utilisant un mécanisme d'attention multi-têtes.
Mécanisme d'Attention Multi-Têtes
Module qui permet au modèle de se concentrer simultanément sur différentes positions de la séquence d'entrée, en apprenant plusieurs représentations d'attention en parallèle pour capturer des dépendances complexes.
Interaction de Caractéristiques de Haut Ordre
Combinaison non-linéaire de trois ou plus variables d'entrée, dont la capture est essentielle pour améliorer la puissance prédictive des modèles sur des données structurées complexes.
Embedding de Caractéristiques
Représentation vectorielle dense et de faible dimension de caractéristiques catégorielles, permettant au modèle de traiter ces variables comme des entrées continues et d'apprendre leurs relations sémantiques.
Réseau d'Interaction
Sous-réseau au sein d'AutoInt responsable du calcul explicite des interactions entre les vecteurs d'embedding des caractéristiques, avant l'application du mécanisme d'attention.
Valeur d'Attention
Score pondéré calculé par le mécanisme d'attention qui quantifie l'importance d'une caractéristique ou d'une interaction spécifique pour la prédiction finale du modèle.
Pooling d'Attention
Opération d'agrégation qui utilise les poids d'attention pour combiner les représentations des caractéristiques, produisant un vecteur de contexte qui met en évidence les informations les plus pertinentes.
Apprentissage par Interaction Automatique
Paradigme où le modèle découvre et hiérarchise lui-même les interactions de caractéristiques pertinentes sans nécessiter d'ingénierie manuelle ou de spécification a priori.
Vecteur de Requête (Query Vector)
Dans le mécanisme d'attention, vecteur qui représente l'état actuel du modèle et est utilisé pour calculer le score de compatibilité avec chaque vecteur clé (key).
Vecteur de Clé (Key Vector)
Représentation d'une caractéristique ou d'une interaction candidate, utilisée pour être comparée au vecteur de requête afin de déterminer son niveau d'attention.
Vecteur de Valeur (Value Vector)
Vecteur contenant l'information réelle d'une caractéristique, qui est pondérée par le score d'attention et agrégée pour former la sortie du mécanisme d'attention.
Produit Scalaire Mis à l'Échelle
Fonction de similarité utilisée dans l'attention pour calculer les scores, où le produit scalaire est divisé par la racine carrée de la dimension des vecteurs pour stabiliser l'entraînement.
Résidu et Normalisation de Couche
Technique d'architecture où la sortie d'une couche est ajoutée à son entrée (connexion résiduelle) puis normalisée, facilitant l'entraînement de réseaux profonds comme AutoInt.
Interaction Croisée (Cross Interaction)
Opération spécifique dans AutoInt qui calcule les interactions entre les paires de caractéristiques en utilisant une multiplication élément par élément suivie d'une transformation linéaire.
Tête d'Attention (Attention Head)
Un des multiples mécanismes d'attention fonctionnant en parallèle dans un module multi-têtes, chacun apprenant à se concentrer sur différents aspects des interactions de caractéristiques.
Agrégation de Têtes
Processus de concaténation ou de moyennage des sorties de toutes les têtes d'attention pour former une représentation unifiée avant de la passer à la couche suivante.
Modélisation de Dépendances à Longue Portée
Capacité du mécanisme d'attention à capturer des relations entre des caractéristiques éloignées dans l'espace d'embedding, surpassant les limites des modèles locaux comme les CNN.
Interprétabilité par Carte d'Attention
Méthode pour visualiser et comprendre les décisions du modèle en analysant les poids d'attention, révélant quelles interactions de caractéristiques ont été les plus influentes.