Glosario IA
El diccionario completo de la Inteligencia Artificial
Matriz Hessiana
Matriz cuadrada de las segundas derivadas parciales de una función escalar, que contiene información sobre la curvatura local utilizada para mejorar la convergencia.
Dirección de Newton
Vector de búsqueda calculado como el inverso de la Hessiana multiplicado por el gradiente, indicando la dirección óptima de descenso según la aproximación cuadrática local.
Paso de Newton
Actualización iterativa x_{k+1} = x_k - H^{-1}(x_k)∇f(x_k) donde H es la Hessiana, realizando una aproximación cuadrática y una resolución exacta del subproblema local.
Método de Newton-Raphson
Versión histórica del método de Newton desarrollada inicialmente para la resolución de ecuaciones no lineales, generalizada posteriormente a la optimización multidimensional.
Linealización de Taylor de orden 2
Aproximación local de una función por su desarrollo de Taylor de segundo orden, fundamento teórico que justifica el uso de la Hessiana en los métodos de Newton.
Regularización de la Hessiana
Técnica que añade un término λI a la Hessiana para garantizar su positividad definida, evitando direcciones de descenso no válidas cuando la Hessiana está mal condicionada.
Método de Cuasi-Newton
Clase de algoritmos que aproximan la Hessiana o su inversa a partir de información sucesiva del gradiente, evitando el costo computacional directo de las segundas derivadas.
Algoritmo BFGS
Método cuasi-Newton popular (Broyden-Fletcher-Goldfarb-Shanno) que construye una aproximación del inverso de la Hessiana garantizando la positividad definida por construcción.
Algoritmo DFP
Primer método cuasi-Newton (Davidon-Fletcher-Powell) que utiliza una fórmula de actualización simétrica para aproximar la inversa de la Hessiana con preservación de la positividad definida.
Método de Gauss-Newton
Algoritmo especializado para problemas de mínimos cuadrados no lineales, que aproxima la Hessiana por J^TJ donde J es la matriz jacobiana de los residuos.
Método de Levenberg-Marquardt
Algoritmo híbrido que interpola entre el método de Gauss-Newton y el descenso de gradiente, utilizando un parámetro de amortiguación para controlar la regularización.
Punto Crítico
Punto donde el gradiente se anula (∇f(x*) = 0), identificado por los métodos de Newton como candidato para ser un mínimo local, máximo o punto de silla.
Condición de Wolfe
Criterio de selección del tamaño de paso en los métodos de Newton con búsqueda lineal, que garantiza suficiente reducción de la función manteniendo una curvatura adecuada.
Búsqueda Lineal
Subproblema que determina la longitud óptima del paso en una dirección dada, esencial para garantizar la convergencia global de los métodos de Newton.
Algoritmo de Newton Truncado
Variante que resuelve aproximadamente el sistema lineal H d = -∇f con métodos iterativos como el gradiente conjugado, adaptada a problemas a gran escala.
Hessiana Dispersa
Matriz Hessiana que contiene mayoritariamente ceros, permitiendo optimizaciones computacionales significativas en los métodos de Newton para problemas estructurados.