Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Score de Fisher
En statistique, le gradient de la log-vraisemblance par rapport aux paramètres du modèle, concept fondamental à la base du score matching pour l'estimation paramétrique.
Sliced Score Matching
Variante du score matching qui réduit la complexité computationnelle en projetant le gradient sur des directions aléatoires, rendant l'entraînement plus efficace pour les données haute dimension.
Équation de Poisson
Équation aux dérivées partielles liant le champ de vecteurs du score au Laplacien du logarithme de la densité, dont la résolution est centrale dans les méthodes basées sur le score.
Langevin Stochastique
Processus de diffusion ou algorithme d'échantillonnage qui utilise le gradient de la log-densité (le score) pour guider l'échantillonnage vers les régions de haute probabilité.
Champ de Vecteurs de Score
Représentation spatiale du score en chaque point de l'espace des données, indiquant la direction et la magnitude de la plus forte augmentation de la densité de probabilité.
Divergence de Stein
Métrique de dissimilarité entre distributions basée sur les fonctions de test de Stein, étroitement liée à l'objectif de score matching et utilisée pour évaluer la qualité du modèle de score.
Paradoxe de Denoising
Phénomène où l'entraînement d'un modèle de score sur des données bruitées (denoising) donne de meilleurs résultats pour estimer le score des données propres que l'entraînement direct.
Score-Based Generative Modeling
Paradigme de modélisation générative où un réseau de neurones est entraîné à estimer le score de la distribution des données à plusieurs niveaux de bruit, puis utilisé pour la génération via un processus de diffusion inverse.
Multiplicité des Scores
Concept où un modèle de score unique peut être utilisé pour générer des échantillons à partir de différentes distributions en changeant le niveau de bruit ou la condition initiale du processus de diffusion.
Équation de Fokker-Planck
Équation différentielle partielle décrivant l'évolution temporelle de la densité de probabilité d'un processus stochastique, fondamentale pour comprendre la théorie derrière les modèles de diffusion et de score.
Correction de Biais de Score
Technique visant à ajuster les prédictions du score pour compenser les biais introduits par l'approximation du modèle ou l'utilisation de données bruitées, essentiel pour une estimation précise.
Normalizing Flow par Score
Approche hybride où les informations du score sont utilisées pour concevoir ou améliorer les transformations dans un modèle de normalizing flow, combinant les avantages des deux paradigmes.
Critère de Score Matching
Fonction objectif, souvent une forme de distance entre le score prédit et le vrai score, que l'on minimise lors de l'entraînement pour apprendre un modèle de score précis.
Interpolation de Score
Processus consistant à estimer le score pour des niveaux de bruit intermédiaires en interpolant les prédictions du modèle, utilisé dans les modèles de diffusion à échelles multiples.
Score Conditionnel
Extension du score matching où le score appris est conditionné par des métadonnées (ex: étiquettes de classe), permettant un contrôle directionnel sur le processus de génération.