Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Hierarchical Variational Autoencoder (HVAE)
Architecture VAE étendue avec plusieurs niveaux de variables latentes organisées hiérarchiquement pour capturer des représentations multi-échelles. Permet une modélisation plus fine des structures complexes à travers des dépendances conditionnelles entre niveaux.
Latent Variables Hiérarchiques
Ensemble de variables latentes organisées en couches où chaque niveau capture des abstractions différentes du contenu. Les niveaux supérieurs modélisent les structures globales tandis que les niveaux inférieurs capturent les détails fins.
Bottom-up Inference Network
Réseau d'inférence qui traite les données d'entrée de bas en haut à travers les couches hiérarchiques du VAE. Chaque niveau calcule les paramètres de distribution pour les variables latentes correspondantes en utilisant l'information des niveaux inférieurs.
Top-down Generative Network
Réseau génératif qui échantillonne les variables latentes des niveaux supérieurs vers les inférieurs pour reconstruire les données. Implémente une génération conditionnelle où chaque niveau dépend des échantillons des niveaux supérieurs.
Ladder VAE
Variante spécifique de HVAE avec des connexions latérales entre les niveaux d'inférence et de génération. Utilise des passes ascendantes et descendantes combinées pour améliorer l'estimation postérieure et la qualité de reconstruction.
Stochastic Depth
Technique de régularisation où certaines connexions hiérarchiques sont aléatoirement désactivées pendant l'entraînement. Améliore la généralisation en forçant le réseau à apprendre des représentations robustes à différents niveaux d'abstraction.
ELBO Hiérarchique
Borne inférieure de l'évidence adaptée aux structures hiérarchiques avec des termes KL divergence pour chaque niveau latental. Inclut des termes de reconstruction pondérés selon la hiérarchie des variables latentes.
Posterior Collapse
Phénomène où le réseau d'inférence ignore les variables latentes et produit une postérieure dégénérée égale à la priori. Particulièrement problématique dans les HVAE avec de nombreux niveaux hiérarchiques.
Inference Amortie Multi-niveaux
Stratégie d'optimisation où un seul réseau neuronal est partagé pour estimer les paramètres postérieurs à tous les niveaux hiérarchiques. Réduit la complexité computationnelle tout en maintenant la capacité expressive.
Variables Latentes Globales et Locales
Distinction dans les HVAE entre variables capturant des propriétés globales (style, catégorie) et des variables locales (détails spécifiques). Les variables globales résident typiquement dans les niveaux supérieurs de la hiérarchie.
Annealing KL Divergence
Technique d'entraînement où le poids des termes KL divergence est augmenté progressivement. Essentielle dans les HVAE pour éviter le posterior collapse et permettre un apprentissage équilibré entre reconstruction et régularisation.
Skip Connections Hiérarchiques
Connexions directes entre niveaux non adjacents de la hiérarchie pour préserver le gradient et améliorer la stabilité. Facilitent le flux d'information entre représentations fines et abstraites.
Reparameterization Trick Multi-échelle
Extension du trick de reparamétrisation standard aux architectures hiérarchiques avec échantillonnage à plusieurs niveaux. Nécessite une gestion协调ée des gradients à travers toute la chaîne stochastique.
Posterior Factorisée
Approximation postérieure où les variables latentes à chaque niveau sont conditionnellement indépendantes sachant les niveaux inférieurs. Simplifie l'inférence tout en permettant des dépendances hiérarchiques complexes.
Dense Connections Hiérarchiques
Architecture où chaque niveau de la hiérarchie reçoit en entrée les concaténations de tous les niveaux précédents. Maximise le flux d'information et facilite l'apprentissage de représentations riches.