قاموس الذكاء الاصطناعي

📖

المصطلحات

Erreur Temporelle Différentielle (TD Error)

Différence entre la valeur estimée avant et après une mise à jour TD, servant de signal d'apprentissage pour ajuster les estimations de valeur vers une meilleure prédiction des retours futurs.

📖

المصطلحات

Bootstrapping

Technique où une estimation est mise à jour en se basant sur une autre estimation actuelle, permettant un apprentissage en ligne et plus rapide que les méthodes attendant les retours finaux.

📖

المصطلحات

Combinaison TD-MC

Stratégie hybride qui tire parti du faible biais du bootstrapping TD et de la faible variance des méthodes Monte Carlo pour un apprentissage plus stable et efficace dans les tâches épisodiques.

📖

المصطلحات

Algorithme TD(λ)

Généralisation des méthodes TD qui pondère les n-uplets de retours futurs selon un facteur de trace d'éligibilité λ, permettant un compromis continu entre TD(0) et Monte Carlo.

📖

المصطلحات

Trace d'Éligibilité

Mécanisme de mémoire qui suit les états ou actions récemment visités, permettant de propager l'erreur TD en arrière dans le temps pour accélérer l'apprentissage.

📖

المصطلحات

Biais-Variance Trade-off

Dilemme fondamental où la réduction du biais (via le bootstrapping TD) augmente la variance, et vice versa (via les méthodes MC), nécessitant un équilibre pour une performance optimale.

📖

المصطلحات

Mise à Jour On-Policy

Processus d'apprentissage où la politique évaluée est la même que celle utilisée pour générer les données, comme dans les algorithmes SARSA et TD(λ) on-policy.

📖

المصطلحات

Fonction de Valeur d'État (V(s))

Estimation du retour attendu en partant d'un état s et en suivant une politique donnée, servant de base aux mises à jour TD pour l'évaluation de politique.

📖

المصطلحات

Algorithme Q-learning

Méthode TD off-policy qui apprend directement la fonction de valeur optimale en utilisant la meilleure action possible dans l'état suivant, indépendamment de la politique suivie.

📖

المصطلحات

Valeur de Retour (Gt)

Somme actualisée des récompenses futures obtenues à partir du pas de temps t, constituant la cible d'apprentissage pour les méthodes Monte Carlo et TD.

📖

المصطلحات

Cible TD

Estimation utilisée pour mettre à jour la valeur actuelle dans les algorithmes TD, combinant la récompense immédiate avec une estimation de la valeur future (ex: R + γV(s')).