Glosario IA
El diccionario completo de la Inteligencia Artificial
Operador Proximal
Operador matemático que generaliza la proyección sobre un conjunto convexo, definido como argmin_y{f(y) + (1/2λ)||y-x||²}. Permite tratar eficazmente los problemas de optimización con regularizadores no diferenciables como la norma L1.
Función Proximal
Función convexa semicontinua inferiormente para la cual el operador proximal está bien definido. Incluye funciones convexas cerradas como la norma L1, la indicatriz de conjuntos convexos y las penalizaciones de grupo.
Algoritmo ISTA
Iterative Soft-Thresholding Algorithm (Algoritmo Iterativo de Umbralización Suave), método proximal específico para la regularización L1. Realiza un paso de gradiente seguido de un umbralización suave para imponer la escasez en las soluciones.
Algoritmo FISTA
Fast Iterative Soft-Thresholding Algorithm (Algoritmo Rápido Iterativo de Umbralización Suave), versión acelerada de ISTA que utiliza las técnicas de aceleración de Nesterov. Alcanza una tasa de convergencia óptima O(1/k²) para problemas convexos con regularización L1.
Aceleración de Nesterov
Técnica de aceleración para métodos de gradiente de primer orden que utiliza términos de inercia de memoria. Mejora significativamente la convergencia de O(1/k) a O(1/k²) para problemas convexos.
Condición de Lipschitz
Hipótesis de que el gradiente de la función objetivo es L-Lipschitz continuo, garantizando una convergencia estable. Determina el tamaño máximo del paso permitido en los métodos proximales.
Regularización de Moreau-Yosida
Técnica de suavizado de funciones convexas no diferenciables mediante convolución cuadrática. Crea funciones C1 mientras preserva los mínimos originales a través de la envolvente de Moreau.
Problemas Estructurados
Problemas de optimización con estructura específica explotada por los métodos proximales. Incluye regularizadores agrupados, normas mixtas y restricciones estructurales complejas.
ADMM Proximal
Método de Multiplicadores de Dirección Alterna con operador proximal, adaptado para restricciones complejas. Descompone el problema en subproblemas más simples resueltos alternativamente con actualización del multiplicador.
Convergencia Lineal
Tasa de convergencia geométrica donde el error disminuye exponencialmente con el número de iteraciones. Alcanzada por los métodos proximales bajo condiciones de fuerte convexidad o error cuadrático medio acotado.
Paso de Tamaño Variable
Estrategia adaptativa para la selección del tamaño de paso en los métodos proximales. Técnicas como la búsqueda de línea por retroceso (backtracking line search) optimizan la convergencia ajustando dinámicamente λ según la curvatura local.
Gradiente Proximal Estocástico
Versión estocástica del gradiente proximal utilizando mini-lotes (mini-batches) para problemas a gran escala. Combina la eficiencia computacional del SGD con el tratamiento de regularizadores no diferenciables.
Punto Fijo Proximal
Formulación de los métodos proximales como iteraciones de punto fijo sobre un operador contractivo. Garantiza convergencia única bajo condiciones de Lipschitz y convexidad apropiada.
Optimización Compuesta
Optimización de funciones objetivo compuestas que combinan términos suaves y no suaves. Campo de aplicación principal de los métodos de gradiente proximal en aprendizaje estadístico y procesamiento de señales.