Glossario IA
Il dizionario completo dell'Intelligenza Artificiale
Erreur Temporelle Différentielle (TD Error)
Différence entre la valeur estimée avant et après une mise à jour TD, servant de signal d'apprentissage pour ajuster les estimations de valeur vers une meilleure prédiction des retours futurs.
Bootstrapping
Technique où une estimation est mise à jour en se basant sur une autre estimation actuelle, permettant un apprentissage en ligne et plus rapide que les méthodes attendant les retours finaux.
Combinaison TD-MC
Stratégie hybride qui tire parti du faible biais du bootstrapping TD et de la faible variance des méthodes Monte Carlo pour un apprentissage plus stable et efficace dans les tâches épisodiques.
Algorithme TD(λ)
Généralisation des méthodes TD qui pondère les n-uplets de retours futurs selon un facteur de trace d'éligibilité λ, permettant un compromis continu entre TD(0) et Monte Carlo.
Trace d'Éligibilité
Mécanisme de mémoire qui suit les états ou actions récemment visités, permettant de propager l'erreur TD en arrière dans le temps pour accélérer l'apprentissage.
Biais-Variance Trade-off
Dilemme fondamental où la réduction du biais (via le bootstrapping TD) augmente la variance, et vice versa (via les méthodes MC), nécessitant un équilibre pour une performance optimale.
Mise à Jour On-Policy
Processus d'apprentissage où la politique évaluée est la même que celle utilisée pour générer les données, comme dans les algorithmes SARSA et TD(λ) on-policy.
Fonction de Valeur d'État (V(s))
Estimation du retour attendu en partant d'un état s et en suivant une politique donnée, servant de base aux mises à jour TD pour l'évaluation de politique.
Algorithme Q-learning
Méthode TD off-policy qui apprend directement la fonction de valeur optimale en utilisant la meilleure action possible dans l'état suivant, indépendamment de la politique suivie.
Valeur de Retour (Gt)
Somme actualisée des récompenses futures obtenues à partir du pas de temps t, constituant la cible d'apprentissage pour les méthodes Monte Carlo et TD.
Cible TD
Estimation utilisée pour mettre à jour la valeur actuelle dans les algorithmes TD, combinant la récompense immédiate avec une estimation de la valeur future (ex: R + γV(s')).