एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
Monte Carlo Tree Search (MCTS)
Algorithme de recherche heuristique utilisé pour prendre des décisions dans des processus de décision, construisant un arbre de recherche partiel en s'appuyant sur des simulations aléatoires pour évaluer le potentiel des nœuds.
Planification par Recherche dans l'Arbre
Processus qui consiste à utiliser une structure arborescente pour explorer les séquences d'actions futures possibles, afin de déterminer la meilleure politique à suivre à partir d'un état donné.
Modèle de Transition Appris
Fonction ou réseau de neurones entraîné à prédire l'état suivant de l'environnement en fonction de l'état actuel et de l'action choisie, utilisée pour simuler les branches de l'arbre de recherche.
Upper Confidence Bound (UCB1)
Formule d'équilibrage entre exploitation et exploration utilisée dans la phase de sélection de MCTS pour choisir le nœud enfant le plus prometteur, favorisant les actions à haute valeur moyenne et peu explorées.
Expansion de Nœud
Phase de MCTS où un nouveau nœud enfant est ajouté à l'arbre de recherche à partir d'un nœud sélectionné, représentant un état-action non encore exploré.
Représentation d'État
Encodage de l'état de l'environnement, souvent sous forme de tenseur ou de vecteur, qui sert d'entrée au modèle de transition et au modèle de récompense pour la planification.
Imagination Augmented Agents (I2A)
Architecture d'agent qui intègre un module de planification basé sur MCTS avec des modèles appris, permettant à l'agent d'imaginer et d'évaluer les conséquences futures de ses actions avant de prendre une décision.
Recherche dans l'Arbre Guidée par la Valeur
Variante de MCTS où la phase de simulation (rollout) est remplacée par l'utilisation directe d'un réseau de neurones de valeur pour estimer le rendement d'un nœud, accélérant ainsi la recherche.
Fonction de Politique Racine
Distribution de probabilité sur les actions possibles depuis l'état racine, souvent issue d'un réseau de neurones, qui peut être utilisée pour biaiser la phase de sélection de MCTS et accélérer la convergence vers les actions optimales.
Planification en Ligne
Approche où la recherche dans l'arbre est effectuée à chaque pas de temps, en partant de l'état actuel, pour déterminer la meilleure action immédiate, par opposition à une planification hors ligne pré-calculée.
Arbre de Recherche Asymétrique
Caractéristique de MCTS où l'arbre se développe de manière non uniforme, en approfondissant les branches les plus prometteuses et en ignorant les autres, ce qui le rend très efficace pour les espaces d'action vastes.
Apprentissage par Renforcement Basé sur un Modèle (Model-Based RL)
Paradigme de l'IA où un agent apprend un modèle de son environnement pour ensuite utiliser ce modèle dans un processus de planification, comme MCTS, afin d'améliorer sa politique sans nécessiter d'interactions réelles avec l'environnement pour chaque mise à jour.