Glossário IA
O dicionário completo da Inteligência Artificial
Primeiro momento
Média móvel exponencial dos gradientes no Adam, representando a estimativa do primeiro momento estatístico (a média) que guia a direção de atualização dos parâmetros.
Segundo momento
Média móvel exponencial dos quadrados dos gradientes no Adam, representando a estimativa do segundo momento estatístico não-centrado (a variância não-centrada) que adapta a magnitude das atualizações.
Beta1
Hiperparâmetro do Adam que controla a taxa de decaimento exponencial para a média móvel do primeiro momento (gradiente), tipicamente fixado em 0.9 para equilibrar novidade e histórico.
Beta2
Hiperparâmetro do Adam que controla a taxa de decaimento exponencial para a média móvel do segundo momento (quadrado do gradiente), tipicamente fixado em 0.999 para uma estimativa estável da variância.
AMSGrad
Modificação do Adam que mantém o máximo das estimativas do segundo momento para garantir uma convergência teórica, evitando aumentos não-monotônicos das taxas de aprendizagem efetivas.
Schedule decay
Estratégia de redução progressiva da taxa de aprendizagem no Adam, frequentemente utilizada para refinar a convergência nas últimas fases de treinamento, reduzindo o tamanho dos passos.