Glossário IA
O dicionário completo da Inteligência Artificial
Conjunto de Modelos
Abordagem que consiste em treinar vários modelos de previsão simultaneamente para combinar suas previsões e reduzir o erro de generalização. Esta técnica permite melhorar a robustez e estimar a incerteza epistêmica em sistemas de aprendizado por reforço.
Bootstrap de Conjuntos
Método de amostragem com reposição usado para criar conjuntos de dados de treinamento variados, permitindo treinar vários modelos em subconjuntos diferentes para capturar a variabilidade das previsões. Particularmente eficaz para a estimativa de incerteza em RL Baseado em Modelo.
Previsão de Conjunto
Técnica que agrega as previsões de vários modelos que formam um conjunto, tipicamente por média ou votação, para obter uma previsão final mais estável e precisa. A variância entre as previsões individuais quantifica a incerteza do modelo.
Robustez da Decisão
Capacidade de um agente de manter um desempenho aceitável diante das incertezas do modelo e das variações do ambiente, usando conjuntos para avaliar a confiança das decisões. Crítico para a implantação de agentes de RL em ambientes reais.
Média de Conjunto
Método de agregação onde a previsão final é a média das previsões individuais de cada modelo do conjunto, reduzindo o viés e a variância, ao mesmo tempo que fornece uma medida natural de incerteza. Fundação das abordagens modernas de conjunto em RL.
Ponderação de Incerteza
Estratégia que utiliza a incerteza estimada pelos conjuntos para ponderar as decisões, favorecendo ações com previsões mais certas durante a exploração e explorando áreas de alta incerteza. Melhora o equilíbrio exploração-explotação em RL.
Exploração Guiada pela Incerteza
Política de exploração que utiliza as medidas de incerteza dos conjuntos para guiar o agente a estados pouco conhecidos, otimizando a coleta de informações para melhorar o aprendizado do modelo. Alternativa eficaz aos métodos de exploração baseados na curiosidade.
Bayesiano Aproximado
Aproximação da inferência bayesiana exata usando conjuntos de redes neurais para estimar a distribuição posterior dos parâmetros do modelo. Fornece uma interpretação probabilística prática para a quantificação de incerteza em RL.
Incerteza Aleatória
Incerteza inerente ao processo, irredutível mesmo com dados infinitos, resultante do ruído estocástico no ambiente ou nas observações. Diferenciada da incerteza epistêmica nas abordagens modernas de quantificação.
Variância do Ensemble
Métrica que quantifica a dispersão das previsões entre os diferentes modelos de um ensemble, servindo como um proxy direto para a incerteza epistêmica em sistemas de RL Baseado em Modelo. Mais alta em regiões pouco exploradas do espaço de estados.
Distribuição Preditiva Posterior
Distribuição completa sobre estados futuros ou recompensas que integra tanto a incerteza sobre os parâmetros do modelo quanto o ruído do processo, aproximada pelas previsões do ensemble na prática. Fundamental para o planejamento robusto em RL.
Eficiência Amostral
Medida da capacidade de um algoritmo de aprender com um mínimo de interações com o ambiente, aprimorada por ensembles que permitem uma transferência eficiente de conhecimento e uma exploração direcionada. Crítica para aplicações de RL com alto custo de dados.
Generalização por Ensemble
Capacidade dos métodos de ensemble de generalizar melhor para estados não vistos, combinando o conhecimento de múltiplos modelos parcialmente corretos, reduzindo o overfitting e melhorando a robustez às variações de distribuição.
Hiperparâmetros do Ensemble
Parâmetros que controlam a configuração do ensemble, incluindo o número de modelos, as taxas de bootstrap, os métodos de agregação e as estratégias de diversificação. Cruciais para otimizar o equilíbrio entre desempenho e complexidade computacional.