AI Glossary
The complete dictionary of Artificial Intelligence
Potential Scale Reduction Factor (PSRF)
Potentially Scale Reduction Factor quantifying the potential improvement in variance if chains were extended indefinitely. PSRF is used in the Gelman-Rubin diagnostic as the main indicator of convergence.
Geweke Diagnostic
Statistical test comparing the means of two non-overlapping segments of an MCMC chain to verify stationarity. Based on a standardized Z-score, it detects significant deviations from the normal distribution.
Raftery-Lewis Test
Method determining the burn-in length and total number of iterations required to achieve specified accuracy on quantiles. Particularly useful for estimating location parameters in MCMC chains.
Heidelberger-Welch Diagnostic
Hybrid test first evaluating stationarity via the Cramer-von Mises test, then determining the length needed to achieve the desired error. Accepts or rejects the null hypothesis of stationary convergence.
Effective Sample Size (ESS)
Estimator of the number of equivalent independent samples in a correlated chain, accounting for autocorrelation. ESS is crucial for evaluating the accuracy of posterior estimates despite sequential dependence.
Lag-1 Autocorrelation
Correlation coefficient between observations separated by a single iteration in the MCMC chain. High autocorrelation indicates slow exploration of the parameter space and low sampling efficiency.
Divergence Diagnostics
Indicators specific to HMC/NUTS detecting numerical integrator failures, revealing complex geometries or multimodality. Divergences often signal convergence problems undetected by R-hat.
Tree Depth Diagnostics
Monitoring of the maximum number of doublings in the NUTS algorithm, where high frequency indicates difficult posterior geometry. A tree depth systematically reaching the maximum bound often requires reparameterization.
Statistique Cramer-von Mises
Test d'adéquation utilisé dans les diagnostics de convergence pour comparer la distribution empirique aux premiers et derniers segments de chaîne. Détecte efficacement les déviations de stationnarité dans les séquences MCMC.
Méthode des batch means
Approche divisant la chaîne en segments (batches) pour estimer la variance d'échantillonnage en tenant compte de l'autocorrélation. Permet une évaluation robuste de la précision des estimations postérieures.
Diagnostic de Brooks-Gelman
Extension multivariée du diagnostic de Gelman-Rubin évaluant simultanément la convergence de tous les paramètres. Utilise des facteurs de contraction et des diagrammes de variance pour l'analyse globale.
Intervalle de confiance autocorrélé
Intervalle de confiance ajusté pour tenir compte de la dépendance séquentielle dans les échantillons MCMC. L'ajustement utilise le facteur d'autocorrélation pour corriger la sous-estimation typique de la variance.
Coefficient de variation effective
Métrique normalisant l'écart-type par la moyenne, ajustée pour l'autocorrélation dans les chaînes MCMC. Fournit une mesure relative de précision comparable entre différents paramètres et échelles.