Glossário IA
O dicionário completo da Inteligência Artificial
Método de Newton Estocástico
Algoritmo de otimização que aproxima a matriz Hessiana de forma estocástica para acelerar a convergência, combinando a eficiência computacional do SGD com as propriedades de convergência de segunda ordem.
L-BFGS (Limited-memory BFGS)
Variante quase-Newton que aproxima a matriz Hessiana inversa usando apenas as últimas m iterações, reduzindo drasticamente a complexidade da memória enquanto mantém as vantagens de segunda ordem.
K-FAC (Kronecker-Factored Approximate Curvature)
Método de otimização de segunda ordem que aproxima a matriz de Fisher por um produto de Kronecker de matrizes menores, permitindo cálculos eficientes para redes neurais profundas.
Descida do Gradiente Natural
Algoritmo de otimização que utiliza a métrica de informação de Fisher como pré-condicionador, garantindo uma convergência invariante às reparametrizações do modelo.
AdaHessian
Otimizador adaptativo que estima a diagonal da matriz Hessiana usando uma aproximação de Hutchinson, adaptando a taxa de aprendizado para cada parâmetro com base na curvatura local.
Shampoo Optimizer
Otimizador de segunda ordem que pré-condiciona os gradientes usando aproximações de matrizes de Kronecker para os tensores de peso, adaptativo à estrutura dos parâmetros do modelo.
LAMB (Layer-wise Adaptive Moments optimizer)
Otimizador adaptativo que ajusta a taxa de aprendizado por camada usando a norma dos pesos e dos gradientes, combinando as vantagens do Adam com uma adaptação específica à estrutura da rede.
Sophia Optimizer
Método de otimização de segunda ordem que combina estimativas de Hessiana diagonal com um controle de momentum estocástico, adaptando dinamicamente a direção de atualização de acordo com a curvatura local.
Método de Newton Subamostrado
Variante de Newton que utiliza subconjuntos de dados para estimar o gradiente e a Hessiana, reduzindo a complexidade computacional enquanto preserva as propriedades de convergência quadrática local.
Quase-Newton Estocástico
Classe de algoritmos que mantêm uma aproximação do inverso da Hessiana atualizada de forma estocástica, equilibrando a complexidade computacional e a taxa de convergência.
Gauss-Newton Diagonal
Aproximação da Hessiana que utiliza apenas os elementos diagonais da matriz de Gauss-Newton, reduzindo significativamente os custos computacionais para problemas de grande dimensão.
TNSR (Regularização de Segunda Ordem Normalizada por Tensor)
Método que aplica uma regularização de segunda ordem normalizando os tensores de gradientes de acordo com as estimativas de curvatura, estabilizando o treinamento de redes profundas.
Passo de Newton Online
Algoritmo de otimização online que mantém uma aproximação da Hessiana inversa para adaptar dinamicamente as atualizações dos parâmetros de acordo com as observações sequenciais.
Algoritmo de Gradiente Recursivo Estocástico
Método que utiliza técnicas de recursividade para aproximar eficientemente as informações de segunda ordem, mantendo a complexidade linear do SGD clássico.