Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Mean-Field Variationnel
Hypothèse de factorisation simplificatrice en inférence variationnelle, où la distribution postérieure est approximée par un produit de distributions indépendantes pour chaque groupe de paramètres, facilitant l'optimisation.
Mise à Jour Coordonnée par Coordonnée (CCVI)
Algorithme d'optimisation itératif pour l'inférence variationnelle, mettant à jour séquentiellement chaque facteur de la distribution approximative tout en gardant les autres fixes, jusqu'à la convergence.
Inférence Variationnelle Stochastique (SVI)
Extension de l'inférence variationnelle utilisant des mini-lots de données et des estimations de gradient stochastique pour scaler à de vastes ensembles de données, rendant l'optimisation de l'ELBO plus efficace.
Amortissement de l'Inférence (Amortized VI)
Approche où les paramètres de la distribution variationnelle sont prédits par un réseau de neurones (un 'encodeur') à partir des données d'observation, évitant une optimisation pour chaque nouvelle observation.
Postérieure Variationnelle
Distribution de probabilité choisie dans une famille paramétrée pour approximer la vraie distribution postérieure dans le cadre de l'inférence variationnelle, optimisée pour minimiser la divergence KL.
Facteurisation Variationnelle
Principe consistant à imposer une structure de dépendance simplifiée (souvent l'indépendance) à la distribution variationnelle pour rendre les calculs et l'optimisation tractables.
Optimisation de l'ELBO
Processus central de l'inférence variationnelle consistant à maximiser la Borne Inférieure de l'Evidence (ELBO) via des méthodes de descente de gradient, ce qui rapproche la distribution variationnelle de la postérieure.
Variationnelle de Monte-Carlo
Méthode d'inférence variationnelle qui n'impose pas de contrainte de forme sur la distribution approximative, utilisant des échantillons de Monte-Carlo pour estimer et optimiser l'ELBO, offrant plus de flexibilité.
Divergence Inverse de KL
Variante de la divergence KL où l'ordre des distributions est inversé (KL(q||p) vs KL(p||q)), conduisant à des approximations postérieures différentes, souvent plus 'couvrantes' (zero-forcing) en inférence variationnelle.
Inférence Variationnelle Structurée
Généralisation du mean-field où la distribution variationnelle est contrainte par une structure de graphe plus complexe que l'indépendance complète, capturant certaines dépendances pour une meilleure approximation.
Black-Box VI
Approche d'inférence variationnelle qui ne nécessite que la capacité d'échantillonner à partir du modèle et de calculer la log-vraisemblance, utilisant des gradients de Monte-Carlo pour optimiser l'ELBO sans dérivations analytiques.