Glossário IA
O dicionário completo da Inteligência Artificial
Matriz Hessiana
Matriz quadrada das segundas derivadas parciais de uma função escalar, contendo informações sobre a curvatura local utilizada para melhorar a convergência.
Direção de Newton
Vetor de busca calculado como o inverso da Hessiana multiplicado pelo gradiente, indicando a direção ótima de descida de acordo com a aproximação quadrática local.
Passo de Newton
Atualização iterativa x_{k+1} = x_k - H^{-1}(x_k)∇f(x_k) onde H é a Hessiana, realizando uma aproximação quadrática e resolução exata do subproblema local.
Método de Newton-Raphson
Versão histórica do método de Newton inicialmente desenvolvida para a resolução de equações não lineares, posteriormente generalizada para a otimização multidimensional.
Linearização de Taylor de ordem 2
Aproximação local de uma função pelo seu desenvolvimento de Taylor de segunda ordem, fundamento teórico que justifica o uso da Hessiana nos métodos de Newton.
Regularização da Hessiana
Técnica que adiciona um termo λI à Hessiana para garantir sua positividade definida, evitando direções de descida inválidas quando a Hessiana está mal condicionada.
Método de Quasi-Newton
Classe de algoritmos que aproximam a Hessiana ou seu inverso a partir de informações sucessivas do gradiente, evitando o custo computacional direto das segundas derivadas.
Algoritmo BFGS
Método quasi-Newton popular (Broyden-Fletcher-Goldfarb-Shanno) que constrói uma aproximação do inverso da Hessiana garantindo a positividade definida por construção.
Algoritmo DFP
Primeiro método quase-Newton (Davidon-Fletcher-Powell) que utiliza uma fórmula de atualização simétrica para aproximar o inverso da Hessiana com preservação da positividade definida.
Método de Gauss-Newton
Algoritmo especializado para problemas de mínimos quadrados não lineares, que aproxima a Hessiana por J^TJ onde J é a matriz jacobiana dos resíduos.
Método de Levenberg-Marquardt
Algoritmo híbrido que interpola entre o método de Gauss-Newton e a descida de gradiente, utilizando um parâmetro de amortecimento para controlar a regularização.
Ponto Crítico
Ponto onde o gradiente se anula (∇f(x*) = 0), identificado pelos métodos de Newton como candidato a ser um mínimo local, máximo ou ponto de sela.
Condição de Wolfe
Critério de seleção do passo em métodos de Newton com busca linear, garantindo redução suficiente da função enquanto mantém uma curvatura adequada.
Busca Linear
Subproblema que determina o comprimento ótimo do passo em uma dada direção, essencial para garantir a convergência global dos métodos de Newton.
Algoritmo de Newton Truncado
Variante que resolve aproximadamente o sistema linear H d = -∇f com métodos iterativos como o gradiente conjugado, adaptada a problemas de grande escala.
Hessiana Esparsa
Matriz Hessiana contendo majoritariamente zeros, permitindo otimizações computacionais significativas nos métodos de Newton para problemas estruturados.