Glossario IA
Il dizionario completo dell'Intelligenza Artificiale
Table Q
Structure de données bidimensionnelle stockant les valeurs Q pour chaque paire état-action, utilisée dans les versions tabulaires du Q-learning pour les espaces discrets.
Mise à jour de Bellman
Équation d'itération de la valeur qui met à jour la fonction Q en utilisant la récompense immédiate et la valeur Q maximale de l'état suivant, pondérée par le facteur d'escompte.
Taux d'apprentissage alpha
Paramètre α ∈ [0,1] contrôlant l'importance des nouvelles informations dans la mise à jour des valeurs Q, déterminant la vitesse de convergence de l'algorithme.
Facteur d'escompte gamma
Paramètre γ ∈ [0,1] qui pondère l'importance des récompenses futures par rapport aux récompenses immédiates dans le calcul des valeurs Q.
Stratégie epsilon-greedy
Politique d'action qui choisit l'action optimale avec probabilité 1-ε et une action aléatoire avec probabilité ε, permettant un compromis contrôlé entre exploration et exploitation.
Convergence du Q-learning
Propriété théorique garantissant que les valeurs Q convergent vers les valeurs Q optimales sous certaines conditions, notamment un taux d'apprentissage décroissant et une exploration suffisante.
Apprentissage sans modèle
Approche où l'agent apprend directement la politique ou la fonction de valeur sans construire de modèle explicite de la dynamique de l'environnement.
Processus de décision de Markov
Cadre mathématique pour modéliser les problèmes de décision séquentiels où les états futurs dépendent uniquement de l'état actuel et de l'action, respectant la propriété de Markov.
Récompense retardée
Concept où les actions peuvent générer des récompenses immédiates faibles mais des récompenses futures élevées, nécessitant une planification à long terme dans l'apprentissage.
État terminal
État absorbant qui met fin à un épisode d'apprentissage, après lequel aucune action supplémentaire n'est possible et où la fonction Q n'est plus mise à jour.
Q-valeur initiale
Valeur assignée à chaque paire état-action au début de l'apprentissage, qui peut influencer la vitesse de convergence et le comportement d'exploration initial.
Décroissance d'epsilon
Stratégie de réduction progressive du paramètre ε dans la politique epsilon-greedy pour favoriser l'exploration initiale et l'exploitation finale pendant l'apprentissage.
Max-opérateur
Opération mathématique dans la mise à jour Q-learning qui sélectionne la valeur Q maximale parmi toutes les actions possibles de l'état suivant pour estimer les récompenses futures.
Q-learning double
Variante du Q-learning utilisant deux fonctions Q pour réduire le biais de surestimation en découplant la sélection de l'action de son évaluation.
Horizon temporel infini
Condition où les épisodes n'ont pas de fin prédéfinie, nécessitant un facteur d'escompte γ < 1 pour assurer la convergence des valeurs Q.
Biais d'optimisme
Phénomène où les estimations Q sont initialement optimistes, encourageant l'exploration car les actions moins essayées semblent artificiellement attractives.