Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Bayesian Model Averaging (BMA)
Approche statistique qui combine les prédictions de plusieurs modèles en les pondérant selon leurs probabilités postérieures, permettant de tenir compte de l'incertitude du modèle dans les prédictions finales.
Posterior Model Probability
Probabilité qu'un modèle soit le vrai modèle générateur des données après avoir observé les données, calculée via le théorème de Bayes en combinant la vraisemblance et la probabilité a priori du modèle.
Model Evidence
Vraisemblance marginale des données sous un modèle spécifique, obtenue en intégrant sur tous les paramètres du modèle, utilisée pour comparer différents modèles dans un cadre bayésien.
Occam's Window
Technique de sélection de modèles dans le BMA qui exclut les modèles trop complexes par rapport aux données observées, ne conservant que les modèles dans une fenêtre de complexité raisonnable.
Bayesian Model Selection
Processus de choix entre modèles concurrents basé sur leurs probabilités postérieures, intégrant automatiquement la pénalité pour la complexité du modèle via le principe d'Occam.
Prior Model Probability
Probabilité assignée à un modèle avant d'observer les données, reflétant les croyances a priori sur la vraisemblance relative des différents modèles candidats.
Predictive Distribution
Distribution de probabilité des futures observations intégrant sur l'incertitude des paramètres et des modèles, obtenue par moyenne pondérée des distributions prédictives de chaque modèle.
Ensembling Bayesian
Méthode d'agrégation de modèles utilisant les principes bayésiens pour combiner les prédictions de plusieurs modèles en une seule prédiction finale pondérée par leur crédibilité.
Weighted Average Prediction
Prédiction finale obtenue en faisant la moyenne des prédictions individuelles des modèles, pondérées par leurs probabilités postérieures dans le cadre du BMA.
Bayesian Information Criterion (BIC)
Critère de sélection de modèle approximant la probabilité postérieure du modèle, pénalisant la complexité du modèle pour éviter le surajustement dans les approches bayésiennes.
Dirichlet Process
Processus stochastique utilisé dans les modèles bayésiens non paramétriques, permettant un nombre infini de composants dans les mélanges et facilitant la moyenne de modèles.
Hierarchical Bayesian Model
Structure modèle où les paramètres eux-mêmes ont des distributions a priori avec leurs propres hyperparamètres, permettant de partager l'information entre modèles similaires dans le BMA.
Markov Chain Monte Carlo Model Composition (MC3)
Algorithme d'échantillonnage explorant l'espace des modèles pour estimer les probabilités postérieures des modèles dans les problèmes de sélection et de moyenne de modèles.
Reversible Jump MCMC
Extension de l'algorithme MCMC permettant de se déplacer entre espaces de paramètres de dimensions différentes, essentielle pour l'inférence bayésienne sur des modèles de complexité variable.
Bayes Factor
Rapport des évidences de deux modèles concurrents, quantifiant le support apporté par les données en faveur d'un modèle par rapport à un autre dans le cadre bayésien.
Predictive Posterior
Distribution prédictive des observations futures intégrant sur l'incertitude des paramètres et des modèles, cornerstone du BMA pour faire des prédictions robustes.
Model Space
Ensemble de tous les modèles candidats considérés dans l'analyse BMA, pouvant être fini ou infini selon le contexte et les contraintes du problème.
Spike-and-Slab Prior
Distribution a priori mélange pour les coefficients de régression, combinant une masse ponctuelle à zéro (spike) et une distribution continue (slab), facilitant la sélection de variables dans le BMA.
Bayesian Model Combination
Extension du BMA où les poids de combinaison des modèles sont eux-mêmes traités comme des paramètres aléatoires avec des distributions a priori, permettant une inférence plus flexible sur l'agrégation.