Glossário IA
O dicionário completo da Inteligência Artificial
Validação Cruzada Aninhada
Técnica de avaliação de modelo que utiliza dois loops de validação cruzada aninhados para evitar overfitting durante a otimização de hiperparâmetros. O loop interno seleciona os melhores hiperparâmetros enquanto o loop externo avalia o desempenho do modelo selecionado de forma imparcial.
Loop Interno
Primeiro nível de validação cruzada na validação cruzada aninhada, responsável pela seleção e otimização dos hiperparâmetros do modelo. Este loop utiliza um conjunto de validação distinto para identificar a configuração ótima antes da avaliação final.
Loop Externo
Segundo nível de validação cruzada na validação cruzada aninhada, fornecendo uma estimativa não enviesada do desempenho do modelo após a seleção dos hiperparâmetros. Os dados de teste deste loop nunca são utilizados durante a otimização dos hiperparâmetros.
Overfitting de Hiperparâmetros
Fenômeno onde os hiperparâmetros são otimizados para desempenhar especificamente no conjunto de validação, comprometendo a generalização para novos dados. Este problema ocorre quando a mesma validação cruzada é utilizada para a seleção de hiperparâmetros e a avaliação final.
Viés de Seleção
Erro sistemático introduzido durante a seleção de modelo ou hiperparâmetros quando o conjunto de teste é utilizado implicitamente no processo de otimização. Este viés leva a uma estimativa otimista e irrealista do desempenho do modelo em produção.
Busca em Grade Aninhada
Método que combina a validação cruzada aninhada com a busca exaustiva de hiperparâmetros em uma grade predefinida. Cada configuração da grade é avaliada pelo loop interno antes que a melhor seja testada pelo loop externo.
Erro de Generalização Estimado
Medida de desempenho obtida pelo loop externo da validação cruzada aninhada, representando uma aproximação do erro do modelo em dados não vistos. Esta estimativa é considerada mais confiável do que a obtida por validação cruzada simples.
Otimização Sequencial
Processo onde a seleção de hiperparâmetros e a avaliação do modelo são realizadas sequencialmente mas em conjuntos de dados distintos para evitar contaminação. Esta abordagem é fundamentalmente implementada na validação cruzada aninhada.
Validação Cruzada de Três Níveis
Extensão da validação cruzada aninhada adicionando um terceiro nível para a seleção entre diferentes famílias de modelos. Cada nível utiliza dados disjuntos para garantir uma avaliação totalmente imparcial do pipeline completo.
Vazamento de Informação Temporal
Problema específico de dados seriais onde a validação cruzada aninhada é essencial para manter a ordem cronológica entre os conjuntos de treinamento, validação e teste. Esta abordagem previne o uso de informações futuras na otimização.
Estabilidade de Seleção
Capacidade da validação cruzada aninhada de identificar hiperparâmetros robustos que performam de maneira consistente através de diferentes dobras de validação externa. Uma baixa estabilidade indica uma forte dependência dos dados de treinamento específicos.
Custo Computacional Quadrático
Complexidade algorítmica da validação cruzada aninhada, requerendo O(k²) treinamentos onde k é o número de dobras. Este custo elevado é o compromisso necessário para obter uma avaliação não enviesada do desempenho do modelo.
Validação Cruzada Monte Carlo Aninhada
Variante da validação cruzada aninhada utilizando amostragens aleatórias com reposição para os loops interno e externo. Esta abordagem reduz a correlação entre as estimativas enquanto mantém a imparcialidade da avaliação.
Pipeline de Avaliação
Arquitetura de software onde a validação cruzada aninhada é implementada como um pipeline completo integrando pré-processamento, seleção de características, otimização de hiperparâmetros e avaliação final. Esta estrutura garante a reprodutibilidade e a ausência de vazamento de dados.
Intervalos de Confiança Aninhados
Método estatístico utilizando os resultados do loop externo para calcular intervalos de confiança sobre o desempenho do modelo. Estes intervalos refletem a incerteza devida tanto à variabilidade dos dados quanto ao processo de seleção de hiperparâmetros.