Glossário IA
O dicionário completo da Inteligência Artificial
Descida do Gradiente
Algoritmo de otimização iterativo que segue a direção oposta do gradiente para minimizar uma função.
Descida de Gradiente Estocástica
Variante da descida de gradiente que utiliza uma única amostra aleatória em cada iteração.
Gradiente Descendente em Mini-lotes
Compromisso entre GD e SGD utilizando pequenos lotes de exemplos para atualizar os parâmetros.
Momentum
Técnica que acelera a convergência adicionando um componente de inércia às atualizações de gradiente.
Gradiente Acelerado de Nesterov
Variante do momentum que antecipa a posição futura para atualizações mais precisas.
Adagrad
Adaptativo da taxa de aprendizado baseado na soma histórica dos quadrados dos gradientes.
RMSprop
Método adaptativo que utiliza uma média móvel dos quadrados dos gradientes para normalizar as atualizações.
Adam Optimizer
Combinação de momentum e RMSprop com estimativas adaptativas dos momentos de primeira e segunda ordem.
AdamW
Variante do Adam com regularização L2 desacoplada para melhor desempenho.
AdaDelta
Extensão do Adagrad que limita o acúmulo histórico para uma taxa de aprendizado estável.
Métodos de Newton
Algoritmos que utilizam a matriz Hessiana para uma convergência quadrática local.
BFGS e L-BFGS
Métodos quase-Newton que aproximam a Hessiana com memória limitada (L-BFGS).
Gradiente Conjugado
Método iterativo eficiente para grandes sistemas lineares e otimização não linear.
Descida de Gradiente Projetada
Técnica para otimização sob restrições, projetando no conjunto admissível.
Métodos de Gradiente Proximal
Algoritmos que combinam descida de gradiente e operador proximal para funções não-suaves.