Glossário IA
O dicionário completo da Inteligência Artificial
Busca em Grade
Método de otimização exaustiva que avalia sistematicamente todas as combinações possíveis de hiperparâmetros em uma grade predefinida. Esta abordagem garante a descoberta da configuração ideal, mas muitas vezes se mostra ineficiente para espaços de alta dimensão.
Busca Aleatória
Técnica de otimização que amostra aleatoriamente combinações de hiperparâmetros de acordo com distribuições especificadas. Prova-se mais eficiente que a busca em grade para espaços de alta dimensão, concentrando a exploração nas áreas relevantes.
BOHB
Combinação híbrida de Otimização Bayesiana e Hyperband que integra um modelo TPE para guiar a seleção de configurações no âmbito de uma alocação de recursos adaptativa. Este método sinérgico combina a eficiência da busca bayesiana com a eliminação rápida do Hyperband.
Busca por Árvore de Parzen
Variante de otimização bayesiana que modela separadamente as distribuições dos hiperparâmetros para configurações boas e más. O algoritmo amostra preferencialmente nas regiões onde as configurações de alto desempenho são mais prováveis.
Algoritmo Genético
Método de otimização inspirado na evolução natural que evolui uma população de configurações através de seleção, cruzamento e mutação. É particularmente adequado para espaços de busca discretos e para problemas com múltiplos ótimos locais.
Otimização por Enxame de Partículas
Técnica metaheurística que simula o comportamento social de um enxame para explorar o espaço de busca. Cada partícula ajusta sua trajetória com base em sua melhor experiência pessoal e na do vizinho mais bem-sucedido.
Hiperparâmetros Condicionais
Hiperparâmetros cuja existência ou intervalo de valores depende dos valores de outros hiperparâmetros, criando uma estrutura de dependência no espaço de busca. Sua gestão requer estratégias de otimização adaptadas a espaços hierárquicos.
Otimização Multiobjetivo
Extensão da otimização de hiperparâmetros que gerencia simultaneamente múltiplos objetivos, muitas vezes contraditórios, como precisão e latência. Produz uma frente de Pareto de soluções ótimas, representando diferentes compromissos possíveis.
Transferência de Aprendizagem para Hiperparâmetros
Técnica que reutiliza o conhecimento sobre o desempenho de hiperparâmetros adquirido em tarefas ou conjuntos de dados anteriores. Esta abordagem acelera significativamente a otimização em novas tarefas semelhantes.
Neuroevolução
Aplicação de algoritmos evolucionários na otimização das arquiteturas e pesos das redes neurais. Combina a flexibilidade da evolução com o poder das redes profundas para descobrir soluções não convencionais.
Otimização Baseada em Gradientes
Abordagem que trata os hiperparâmetros como parâmetros otimizáveis e calcula seu gradiente em relação à perda do modelo. Permite atualizações direcionais eficientes, mas requer funções objetivo diferenciáveis.
Espaço de Pesquisa Hierárquico
Estrutura de espaço de pesquisa onde os hiperparâmetros são organizados em níveis de dependência, refletindo as relações condicionais entre parâmetros. A otimização deve respeitar essas restrições estruturais para gerar configurações válidas.
Otimização Robusta
Paradigma que busca hiperparâmetros que oferecem bom desempenho não apenas no conjunto de dados de treinamento, mas também diante de variações e ruídos futuros. Prioriza a estabilidade e a generalização em detrimento da otimização agressiva.