AI Glossary
The complete dictionary of Artificial Intelligence
Bayesian Model Averaging (BMA)
Statistical approach that combines predictions from multiple models by weighting them according to their posterior probabilities, allowing to account for model uncertainty in the final predictions.
Posterior Model Probability
Probability that a model is the true data-generating model after observing the data, calculated via Bayes' theorem by combining the likelihood and the prior probability of the model.
Model Evidence
Marginal likelihood of the data under a specific model, obtained by integrating over all model parameters, used to compare different models in a Bayesian framework.
Occam's Window
Model selection technique in BMA that excludes models that are too complex relative to the observed data, keeping only models within a reasonable complexity window.
Bayesian Model Selection
Process of choosing between competing models based on their posterior probabilities, automatically incorporating the penalty for model complexity via Occam's principle.
Prior Model Probability
Probability assigned to a model before observing the data, reflecting prior beliefs about the relative likelihood of different candidate models.
Predictive Distribution
Probability distribution of future observations integrating over parameter and model uncertainty, obtained by weighted average of the predictive distributions of each model.
Bayesian Ensembling
Model aggregation method using Bayesian principles to combine predictions from multiple models into a single final prediction weighted by their credibility.
Weighted Average Prediction
Prédiction finale obtenue en faisant la moyenne des prédictions individuelles des modèles, pondérées par leurs probabilités postérieures dans le cadre du BMA.
Bayesian Information Criterion (BIC)
Critère de sélection de modèle approximant la probabilité postérieure du modèle, pénalisant la complexité du modèle pour éviter le surajustement dans les approches bayésiennes.
Dirichlet Process
Processus stochastique utilisé dans les modèles bayésiens non paramétriques, permettant un nombre infini de composants dans les mélanges et facilitant la moyenne de modèles.
Hierarchical Bayesian Model
Structure modèle où les paramètres eux-mêmes ont des distributions a priori avec leurs propres hyperparamètres, permettant de partager l'information entre modèles similaires dans le BMA.
Markov Chain Monte Carlo Model Composition (MC3)
Algorithme d'échantillonnage explorant l'espace des modèles pour estimer les probabilités postérieures des modèles dans les problèmes de sélection et de moyenne de modèles.
Reversible Jump MCMC
Extension de l'algorithme MCMC permettant de se déplacer entre espaces de paramètres de dimensions différentes, essentielle pour l'inférence bayésienne sur des modèles de complexité variable.
Bayes Factor
Rapport des évidences de deux modèles concurrents, quantifiant le support apporté par les données en faveur d'un modèle par rapport à un autre dans le cadre bayésien.
Predictive Posterior
Distribution prédictive des observations futures intégrant sur l'incertitude des paramètres et des modèles, cornerstone du BMA pour faire des prédictions robustes.
Model Space
Ensemble de tous les modèles candidats considérés dans l'analyse BMA, pouvant être fini ou infini selon le contexte et les contraintes du problème.
Spike-and-Slab Prior
Distribution a priori mélange pour les coefficients de régression, combinant une masse ponctuelle à zéro (spike) et une distribution continue (slab), facilitant la sélection de variables dans le BMA.
Bayesian Model Combination
Extension du BMA où les poids de combinaison des modèles sont eux-mêmes traités comme des paramètres aléatoires avec des distributions a priori, permettant une inférence plus flexible sur l'agrégation.