Glossário IA
O dicionário completo da Inteligência Artificial
Diferenciação Automática
Técnica algorítmica para calcular eficientemente as derivadas de funções definidas por programas de computador, baseada na regra da cadeia de diferenciação e no grafo computacional das operações.
Grafo Computacional
Estrutura de dados que representa as dependências entre as operações matemáticas em um modelo, permitindo a propagação direta e o cálculo automático dos gradientes por retropropagação.
Técnicas de Redução de Variância
Métodos como SVRG (Stochastic Variance Reduced Gradient) ou SAGA que reduzem a variância das estimativas de gradiente para acelerar a convergência, mantendo a eficiência computacional.
Métodos de Newton Estocásticos
Algoritmos de otimização de segunda ordem que adaptam o método de Newton ao contexto estocástico, utilizando aproximações da matriz Hessiana para direções de descida mais informativas.
Produtos Hessiana-vetor
Cálculo eficiente do produto entre a matriz Hessiana e um vetor sem explicitar a Hessiana completa, essencial para métodos de otimização de segunda ordem em larga escala.