Glossario IA
Il dizionario completo dell'Intelligenza Artificiale
Mean-Field Variationnel
Hypothèse de factorisation simplificatrice en inférence variationnelle, où la distribution postérieure est approximée par un produit de distributions indépendantes pour chaque groupe de paramètres, facilitant l'optimisation.
Mise à Jour Coordonnée par Coordonnée (CCVI)
Algorithme d'optimisation itératif pour l'inférence variationnelle, mettant à jour séquentiellement chaque facteur de la distribution approximative tout en gardant les autres fixes, jusqu'à la convergence.
Inférence Variationnelle Stochastique (SVI)
Extension de l'inférence variationnelle utilisant des mini-lots de données et des estimations de gradient stochastique pour scaler à de vastes ensembles de données, rendant l'optimisation de l'ELBO plus efficace.
Amortissement de l'Inférence (Amortized VI)
Approche où les paramètres de la distribution variationnelle sont prédits par un réseau de neurones (un 'encodeur') à partir des données d'observation, évitant une optimisation pour chaque nouvelle observation.
Postérieure Variationnelle
Distribution de probabilité choisie dans une famille paramétrée pour approximer la vraie distribution postérieure dans le cadre de l'inférence variationnelle, optimisée pour minimiser la divergence KL.
Facteurisation Variationnelle
Principe consistant à imposer une structure de dépendance simplifiée (souvent l'indépendance) à la distribution variationnelle pour rendre les calculs et l'optimisation tractables.
Optimisation de l'ELBO
Processus central de l'inférence variationnelle consistant à maximiser la Borne Inférieure de l'Evidence (ELBO) via des méthodes de descente de gradient, ce qui rapproche la distribution variationnelle de la postérieure.
Variationnelle de Monte-Carlo
Méthode d'inférence variationnelle qui n'impose pas de contrainte de forme sur la distribution approximative, utilisant des échantillons de Monte-Carlo pour estimer et optimiser l'ELBO, offrant plus de flexibilité.
Reverse KL Divergence
Variant of KL divergence where the order of distributions is inverted (KL(q||p) vs KL(p||q)), leading to different posterior approximations, often more 'covering' (zero-forcing) in variational inference.
Structured Variational Inference
Generalization of mean-field where the variational distribution is constrained by a graph structure more complex than complete independence, capturing certain dependencies for better approximation.
Black-Box VI
Variational inference approach that only requires the ability to sample from the model and compute the log-likelihood, using Monte Carlo gradients to optimize the ELBO without analytical derivations.