Glosario IA
El diccionario completo de la Inteligencia Artificial
Método de Newton Estocástico
Algoritmo de optimización que aproxima la matriz Hessiana de manera estocástica para acelerar la convergencia, combinando la eficiencia computacional del SGD con las propiedades de convergencia de segundo orden.
L-BFGS (BFGS de memoria limitada)
Variante cuasi-Newton que aproxima la matriz Hessiana inversa utilizando solo las últimas m iteraciones, reduciendo drásticamente la complejidad de la memoria mientras conserva las ventajas de segundo orden.
K-FAC (Curvatura Aproximada Factorizada por Kronecker)
Método de optimización de segundo orden que aproxima la matriz de Fisher mediante un producto de Kronecker de matrices más pequeñas, permitiendo cálculos eficientes para redes neuronales profundas.
Descenso de Gradiente Natural
Algoritmo de optimización que utiliza la métrica de información de Fisher como preacondicionador, garantizando una convergencia invariante a las reparametrizaciones del modelo.
AdaHessian
Optimizador adaptativo que estima la diagonal de la matriz Hessiana utilizando una aproximación de Hutchinson, adaptando la tasa de aprendizaje para cada parámetro basándose en la curvatura local.
Optimizador Shampoo
Optimizador de segundo orden que preacondiciona los gradientes utilizando aproximaciones de matrices de Kronecker para los tensores de pesos, adaptativo a la estructura de los parámetros del modelo.
LAMB (Optimizador de Momentos Adaptativos por Capa)
Optimizador adaptativo que ajusta la tasa de aprendizaje por capa utilizando la norma de los pesos y los gradientes, combinando las ventajas de Adam con una adaptación específica a la estructura de la red.
Optimizador Sophia
Método de optimización de segundo orden que combina estimaciones de Hessiana diagonal con un control de impulso estocástico, adaptando dinámicamente la dirección de actualización según la curvatura local.
Método de Newton Submuestreado
Variante de Newton que utiliza subconjuntos de datos para estimar el gradiente y la Hessiana, reduciendo la complejidad computacional mientras preserva las propiedades de convergencia cuadrática local.
Cuasi-Newton Estocástico
Clase de algoritmos que mantienen una aproximación de la inversa de la Hessiana actualizada de manera estocástica, equilibrando la complejidad computacional y la tasa de convergencia.
Gauss-Newton Diagonal
Aproximación de la Hessiana que utiliza solo los elementos diagonales de la matriz de Gauss-Newton, reduciendo significativamente los costos computacionales para problemas de gran dimensión.
TNSR (Regularización de Segundo Orden Normalizada por Tensor)
Método que aplica una regularización de segundo orden normalizando los tensores de gradientes según las estimaciones de curvatura, estabilizando el entrenamiento de redes profundas.
Paso de Newton en Línea
Algoritmo de optimización en línea que mantiene una aproximación de la Hessiana inversa para adaptar dinámicamente las actualizaciones de los parámetros según las observaciones secuenciales.
Algoritmo de Gradiente Recursivo Estocástico
Método que utiliza técnicas de recursividad para aproximar eficientemente la información de segundo orden manteniendo la complejidad lineal del SGD clásico.