Glossário IA
O dicionário completo da Inteligência Artificial
Busca em Árvore Monte Carlo (MCTS)
Algoritmo de busca heurística usado para tomar decisões em processos de decisão, construindo uma árvore de busca parcial baseada em simulações aleatórias para avaliar o potencial dos nós.
Planejamento por Busca em Árvore
Processo que consiste em usar uma estrutura em árvore para explorar sequências de ações futuras possíveis, a fim de determinar a melhor política a seguir a partir de um determinado estado.
Modelo de Transição Aprendido
Função ou rede neural treinada para prever o próximo estado do ambiente com base no estado atual e na ação escolhida, usada para simular os ramos da árvore de busca.
Upper Confidence Bound (UCB1)
Fórmula de equilíbrio entre exploração e explotação usada na fase de seleção do MCTS para escolher o nó filho mais promissor, favorecendo ações de alto valor médio e pouco exploradas.
Expansão de Nó
Fase do MCTS onde um novo nó filho é adicionado à árvore de busca a partir de um nó selecionado, representando um estado-ação ainda não explorado.
Representação de Estado
Codificação do estado do ambiente, frequentemente na forma de tensor ou vetor, que serve como entrada para o modelo de transição e o modelo de recompensa para o planejamento.
Agentes Aumentados por Imaginação (I2A)
Arquitetura de agente que integra um módulo de planejamento baseado em MCTS com modelos aprendidos, permitindo ao agente imaginar e avaliar as consequências futuras de suas ações antes de tomar uma decisão.
Busca em Árvore Guiada por Valor
Variante do MCTS onde a fase de simulação (rollout) é substituída pelo uso direto de uma rede neural de valor para estimar o retorno de um nó, acelerando assim a busca.
Função de Política Raiz
Distribuição de probabilidade sobre as ações possíveis a partir do estado raiz, frequentemente derivada de uma rede neural, que pode ser usada para polarizar a fase de seleção do MCTS e acelerar a convergência para as ações ótimas.
Planejamento Online
Abordagem onde a busca na árvore é realizada a cada passo de tempo, partindo do estado atual, para determinar a melhor ação imediata, em oposição a um planejamento offline pré-calculado.
Árvore de Busca Assimétrica
Característica do MCTS onde a árvore se desenvolve de forma não uniforme, aprofundando as ramificações mais promissoras e ignorando as outras, o que a torna muito eficaz para espaços de ação vastos.
Aprendizagem por Reforço Baseada em Modelo (Model-Based RL)
Paradigma da IA onde um agente aprende um modelo de seu ambiente para então usar esse modelo em um processo de planejamento, como o MCTS, a fim de melhorar sua política sem a necessidade de interações reais com o ambiente para cada atualização.