Glossário IA
O dicionário completo da Inteligência Artificial
SGD Baseado em Momentum
Uma variante do SGD que incorpora uma memória das atualizações anteriores para amortecer as oscilações e acelerar a convergência em direções consistentes do gradiente.
SGD em Mini-lotes
Um compromisso entre SGD e gradiente em lote, utilizando pequenos subconjuntos de dados para estimar os gradientes, oferecendo um melhor equilíbrio entre velocidade de convergência e estabilidade numérica.
Gradiente Acelerado de Nesterov (NAG)
Uma variante aprimorada do Momentum que realiza uma etapa de previsão antes do cálculo do gradiente, resultando em uma convergência teoricamente superior e melhor estabilidade numérica.
AdamW
Uma modificação do Adam que separa a decaimento de peso da atualização adaptativa, melhorando a generalização e a estabilidade em contextos de aprendizado contínuo.
AdaMax
Uma extensão do Adam que utiliza a norma infinita dos gradientes passados em vez da norma L2, oferecendo melhor estabilidade numérica em alguns casos extremos de dados sequenciais.
Nadam
Uma combinação de Nesterov momentum e Adam, integrando a aceleração de Nesterov no framework adaptativo do Adam para uma convergência potencialmente mais rápida.