Glosario IA
El diccionario completo de la Inteligencia Artificial
Búsqueda en Árbol de Montecarlo (MCTS)
Algoritmo de búsqueda heurística utilizado para tomar decisiones en procesos de decisión, construyendo un árbol de búsqueda parcial basándose en simulaciones aleatorias para evaluar el potencial de los nodos.
Planificación mediante Búsqueda en Árbol
Proceso que consiste en utilizar una estructura arbórea para explorar las secuencias de acciones futuras posibles, para determinar la mejor política a seguir desde un estado dado.
Modelo de Transición Aprendido
Función o red neuronal entrenada para predecir el siguiente estado del entorno en función del estado actual y la acción elegida, utilizada para simular las ramas del árbol de búsqueda.
Límite Superior de Confianza (UCB1)
Fórmula de equilibrio entre explotación y exploración utilizada en la fase de selección de MCTS para elegir el nodo hijo más prometedor, favoreciendo las acciones de alto valor promedio y poco exploradas.
Expansión de Nodo
Fase de MCTS donde se agrega un nuevo nodo hijo al árbol de búsqueda a partir de un nodo seleccionado, representando un estado-acción aún no explorado.
Representación de Estado
Codificación del estado del entorno, a menudo en forma de tensor o vector, que sirve como entrada al modelo de transición y al modelo de recompensa para la planificación.
Agentes Aumentados con Imaginación (I2A)
Arquitectura de agente que integra un módulo de planificación basado en MCTS con modelos aprendidos, permitiendo al agente imaginar y evaluar las consecuencias futuras de sus acciones antes de tomar una decisión.
Búsqueda en Árbol Guiada por Valor
Variante de MCTS donde la fase de simulación (rollout) es reemplazada por el uso directo de una red neuronal de valor para estimar el rendimiento de un nodo, acelerando así la búsqueda.
Función de Política Raíz
Distribución de probabilidad sobre las acciones posibles desde el estado raíz, a menudo proveniente de una red neuronal, que puede utilizarse para sesgar la fase de selección de MCTS y acelerar la convergencia hacia las acciones óptimas.
Planificación en Línea
Enfoque donde la búsqueda en el árbol se realiza en cada paso de tiempo, partiendo del estado actual, para determinar la mejor acción inmediata, en oposición a una planificación fuera de línea precalculada.
Árbol de Búsqueda Asimétrico
Característica de MCTS donde el árbol se desarrolla de manera no uniforme, profundizando en las ramas más prometedoras e ignorando las otras, lo que lo hace muy eficiente para espacios de acción amplios.
Aprendizaje por Refuerzo Basado en Modelo (Model-Based RL)
Paradigma de la IA donde un agente aprende un modelo de su entorno para luego utilizar este modelo en un proceso de planificación, como MCTS, para mejorar su política sin requerir interacciones reales con el entorno para cada actualización.