Glossário IA
O dicionário completo da Inteligência Artificial
Mecanismo Lookahead
Técnica de otimização que mantém dois conjuntos de pesos: pesos rápidos atualizados frequentemente e pesos lentos que seguem a média dos pesos rápidos para melhorar a generalização.
Momento do Gradiente
Parâmetro de aceleração em métodos de otimização que acumula gradientes anteriores com um fator de decaimento exponencial, permitindo superar mínimos locais e acelerar a convergência.
Estratégia de Reinício
Abordagem onde o momento é periodicamente reiniciado para zero para evitar oscilações e melhorar a convergência em problemas de otimização não convexos com aceleração de Nesterov.
Estimativa Adaptativa do Momento
Extensão dos métodos de momento que adapta dinamicamente as taxas de aprendizado para cada parâmetro, combinando as vantagens do NAG com a normalização adaptativa dos gradientes.
Escala de Ruído do Gradiente
Parâmetro que quantifica a relação entre a variância do gradiente estocástico e a norma do gradiente, influenciando a escolha do tamanho de batch ótimo nos métodos NAG.
Estratégia de Aquecimento (Warmup)
Técnica que inicializa progressivamente a taxa de aprendizado e o momento para estabilizar as primeiras etapas de treinamento com NAG, particularmente importante em redes profundas.
Suavização da Paisagem de Perda
Efeito benéfico do NAG que modifica implicitamente a superfície da função de perda para criar bacias de atração mais amplas em torno dos mínimos, facilitando a otimização.
Descida Coordenada Acelerada
Variante da descida coordenada que incorpora os princípios de aceleração de Nesterov para otimizar eficientemente problemas de alta dimensão com estruturas esparsas.
Divisão Forward-Backward
Algoritmo de ponto fixo para otimização composta, onde a aceleração de Nesterov é aplicada à parte suave do problema enquanto gerencia as restrições através de operadores proximais.
Gradiente de Transporte Ótimo
Aplicação de NAG em problemas de otimização baseados em transporte ótimo, onde a aceleração permite gerenciar eficientemente as restrições de massa e conservação.