AI Glossary
The complete dictionary of Artificial Intelligence
Hierarchical Variational Autoencoder (HVAE)
Extended VAE architecture with multiple levels of latent variables organized hierarchically to capture multi-scale representations. Enables finer modeling of complex structures through conditional dependencies between levels.
Hierarchical Latent Variables
Set of latent variables organized in layers where each level captures different abstractions of content. Higher levels model global structures while lower levels capture fine details.
Bottom-up Inference Network
Inference network that processes input data from bottom to top through the hierarchical layers of the VAE. Each level computes distribution parameters for the corresponding latent variables using information from lower levels.
Top-down Generative Network
Generative network that samples latent variables from higher to lower levels to reconstruct data. Implements conditional generation where each level depends on samples from higher levels.
Ladder VAE
Specific HVAE variant with lateral connections between inference and generation levels. Uses combined upward and downward passes to improve posterior estimation and reconstruction quality.
Stochastic Depth
Regularization technique where certain hierarchical connections are randomly disabled during training. Improves generalization by forcing the network to learn robust representations at different levels of abstraction.
Hierarchical ELBO
Evidence lower bound adapted to hierarchical structures with KL divergence terms for each latent level. Includes reconstruction terms weighted according to the hierarchy of latent variables.
Posterior Collapse
Phenomenon where the inference network ignores latent variables and produces a degenerate posterior equal to the prior. Particularly problematic in HVAEs with many hierarchical levels.
Inference Amortie Multi-niveaux
Stratégie d'optimisation où un seul réseau neuronal est partagé pour estimer les paramètres postérieurs à tous les niveaux hiérarchiques. Réduit la complexité computationnelle tout en maintenant la capacité expressive.
Variables Latentes Globales et Locales
Distinction dans les HVAE entre variables capturant des propriétés globales (style, catégorie) et des variables locales (détails spécifiques). Les variables globales résident typiquement dans les niveaux supérieurs de la hiérarchie.
Annealing KL Divergence
Technique d'entraînement où le poids des termes KL divergence est augmenté progressivement. Essentielle dans les HVAE pour éviter le posterior collapse et permettre un apprentissage équilibré entre reconstruction et régularisation.
Skip Connections Hiérarchiques
Connexions directes entre niveaux non adjacents de la hiérarchie pour préserver le gradient et améliorer la stabilité. Facilitent le flux d'information entre représentations fines et abstraites.
Reparameterization Trick Multi-échelle
Extension du trick de reparamétrisation standard aux architectures hiérarchiques avec échantillonnage à plusieurs niveaux. Nécessite une gestion协调ée des gradients à travers toute la chaîne stochastique.
Posterior Factorisée
Approximation postérieure où les variables latentes à chaque niveau sont conditionnellement indépendantes sachant les niveaux inférieurs. Simplifie l'inférence tout en permettant des dépendances hiérarchiques complexes.
Dense Connections Hiérarchiques
Architecture où chaque niveau de la hiérarchie reçoit en entrée les concaténations de tous les niveaux précédents. Maximise le flux d'information et facilite l'apprentissage de représentations riches.