Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
BOHB (Bayesian Optimization HyperBand)
Algorithme hybride combinant l'optimisation bayésienne pour la modélisation probabiliste et HyperBand pour l'allocation adaptative des ressources, permettant une recherche efficace d'hyperparamètres.
Modèle de Substitution
Modèle probabiliste (typiquement GP ou TPE) qui approche la fonction objectif coûteuse à évaluer pour guider la recherche d'hyperparamètres.
Fonction d'Acquisition
Fonction qui équilibre exploration et exploitation pour déterminer les prochaines configurations d'hyperparamètres à évaluer.
TPE (Tree-structured Parzen Estimator)
Modèle de substitution non paramétrique utilisant des estimateurs de densité par noyau pour modéliser les distributions des hyperparamètres.
Budget Computationnel
Ressource limitée (temps, épisodes, données) allouée à l'évaluation des configurations d'hyperparamètres dans BOHB.
Bandit-Based Allocation
Stratégie d'allocation de ressources inspirée des bandits manchots pour optimiser le compromis exploration-exploitation.
Hyperparameter Importance
Mesure de l'impact de chaque hyperparamètre sur la performance du modèle, utilisée pour prioriser la recherche dans BOHB.
Évaluation Parallèle
Capacité d'évaluer simultanément plusieurs configurations d'hyperparamètres pour accélérer l'optimisation dans BOHB.
Échantillonnage de Thompson
Méthode de sélection qui échantillonne des configurations selon leur probabilité d'être optimale selon le modèle de substitution.
Bracket Configuration
Paramétrage spécifique de HyperBand définissant le nombre de configurations et l'évolution du budget pour un bracket donné.