Glossário IA
O dicionário completo da Inteligência Artificial
Otimização Não-Convexa
Processo de otimização onde a função objetivo possui múltiplos mínimos locais e pontos de sela, tornando a busca pelo ótimo global particularmente complexa em espaços de alta dimensão.
Pontos de Sela
Pontos críticos onde o gradiente se anula, mas que não são nem mínimos nem máximos, constituindo obstáculos importantes na otimização de redes profundas devido à sua abundância em alta dimensão.
Pontos Críticos
Pontos no espaço dos parâmetros onde o gradiente da função de perda se anula, incluindo mínimos locais, máximos locais e pontos de sela.
Dinâmica de Escape
Mecanismos pelos quais os algoritmos de otimização estocástica podem escapar de pontos de sela e mínimos locais rasos graças ao ruído do gradiente.
Paisagem de Perda
Representação geométrica multidimensional da função de perda em função dos parâmetros da rede, caracterizada por uma topologia complexa de vales, cristas e platôs.
Bacia de Atração
Região do espaço dos parâmetros a partir da qual um algoritmo de otimização converge inevitavelmente para um ponto crítico particular sob sua dinâmica.
Mínimos Agudos vs. Planos
Distinção entre mínimos locais com alta curvatura (agudos), potencialmente menos generalizáveis, e aqueles com baixa curvatura (planos), geralmente preferíveis para a generalização.
Fenômeno do Platô
Fase de treinamento onde o algoritmo estagna em regiões de baixo gradiente, típica de otimizações não-convexas profundas e que requer técnicas específicas para ser superada.
Otimização Baseada em Momento
Família de algoritmos que incorporam inércia baseada em gradientes anteriores para acelerar a convergência e atravessar mais eficientemente regiões difíceis do panorama de perda.
Análise de Pontos Críticos
Estudo sistemático da distribuição e das propriedades dos pontos críticos em panoramas de perda não-convexos para compreender a dinâmica de otimização.
Descida de Gradiente com Reinícios
Técnica de otimização que alterna periodicamente entre descida de gradiente e reinicialização parcial dos parâmetros para explorar diferentes bacias de atração.
Otimização Sem Hessiana
Métodos de otimização de segunda ordem que evitam o cálculo explícito da matriz hessiana, enquanto exploram informações de curvatura para melhorar a convergência.
Informação de Curvatura
Utilização das segundas derivadas da função de perda para guiar a otimização em regiões não-convexas e melhorar a estabilidade da convergência.