Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Optimisation Bayésienne
Méthode probabiliste utilisant des processus gaussiens pour modéliser la fonction objectif et guider efficacement la recherche d'hyperparamètres.
Hyperband et Successive Halving
Approches d'allocation dynamique des ressources qui éliminent précocement les mauvaises configurations pour optimiser l'utilisation du budget de calcul.
Optimisation Multi-Objectifs
Techniques avancées pour optimiser simultanément plusieurs métriques de performance conflictuelles (ex: précision vs temps d'inférence).
BOHB (Bayesian Optimization HyperBand)
Combination hybride de l'optimisation bayésienne et d'Hyperband pour une recherche efficace avec allocation adaptative des ressources.
Recherche d'Architecture Neuronale (NAS)
Optimisation automatique de la structure des réseaux de neurones (profondeur, largeur, connexions) en plus des hyperparamètres classiques.
Méta-Apprentissage pour Hyperparamètres
Approche qui apprend à partir d'optimisations précédentes pour initialiser intelligemment la recherche sur de nouvelles tâches.
Optimisation par Algorithmes Évolutionnaires
Méthodes inspirées de l'éolution naturelle utilisant mutation, croisement et sélection pour explorer l'espace des hyperparamètres.
Population-Based Training (PBT)
Technique évolutive concurrentielle qui exploite et explore simultanément en adaptant les hyperparamètres pendant l'entraînement.
Optimisation avec Contraintes
Méthodes avancées gérant les restrictions sur les hyperparamètres (bornes, dépendances, contraintes de ressources).
Optimisation Parallèle et Distribuée
Stratégies de parallélisation pour accélérer l'optimisation en distribuant les évaluations sur plusieurs ressources computationnelles.
Optimisation par Gradient d'Hyperparamètres
Approche différenciable permettant d'optimiser certains hyperparamètres par descente de gradient plutôt que par recherche discrète.
Auto-Sklearn et AutoML Frameworks
Systèmes complets automatisant l'optimisation d'hyperparamètres, la sélection de modèles et le prétraitement des données.