Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Population-Based Training (PBT)
Méthode d'optimisation hyperparamétrique qui combine apprentissage par renforcement et algorithmes évolutionnaires pour ajuster dynamiquement les hyperparamètres pendant l'entraînement du modèle.
Hyperparamètres adaptatifs
Paramètres d'entraînement qui évoluent dynamiquement en fonction des performances du modèle plutôt que d'être fixés au préalable.
Dynamique de population
Processus évolutif où les individus (modèles) interagissent, compétitionnent et échangent des informations dans un environnement d'entraînement partagé.
Schedule d'apprentissage dynamique
Stratégie d'ajustement automatique du taux d'apprentissage basée sur les performances relatives au sein de la population.
Période d'évaluation
Intervalle temporel entre les phases de sélection et d'exploitation dans le cycle PBT, déterminant la fréquence des ajustements hyperparamétriques.
Critère de performance
Métrique ou ensemble de métriques utilisées pour évaluer et comparer les modèles au sein de la population PBT.
Décroissance exponentielle adaptative
Stratégie d'ajustement automatique du taux d'apprentissage où la décroissance est modulée dynamiquement selon les performances relatives.
Transfert de connaissances inter-individus
Mécanisme PBT permettant aux modèles d'apprendre collectivement en partageant les meilleures configurations découvertes au sein de la population.
Équilibre Nash dans PBT
État théorique où aucun modèle de la population ne peut améliorer ses performances en modifiant unilatéralement ses hyperparamètres.
Optimisation multi-objectifs PBT
Extension de PBT gérant simultanément plusieurs objectifs contradictoires comme précision vs temps d'inférence ou consommation énergétique.
Régularisation évolutive
Effet secondaire bénéfique de PBT où la compétition et la diversité populationnelle agissent comme mécanisme de régularisation implicite.
Exploration stochastique guidée
Stratégie d'exploration PBT où les mutations aléatoires sont biaisées vers les régions de l'espace hyperparamétrique ayant montré du potentiel.