Glosario IA
El diccionario completo de la Inteligencia Artificial
Optimización No Convexa
Proceso de optimización donde la función objetivo posee múltiples mínimos locales y puntos de silla, haciendo que la búsqueda del óptimo global sea particularmente compleja en espacios de alta dimensión.
Puntos de Silla
Puntos críticos donde el gradiente se anula pero que no son ni mínimos ni máximos, constituyendo obstáculos importantes en la optimización de redes profundas debido a su abundancia en alta dimensión.
Puntos Críticos
Puntos en el espacio de parámetros donde el gradiente de la función de pérdida se anula, incluyendo mínimos locales, máximos locales y puntos de silla.
Dinámicas de Escape
Mecanismos por los cuales los algoritmos de optimización estocástica pueden escapar de los puntos de silla y mínimos locales poco profundos gracias al ruido del gradiente.
Paisaje de Pérdida
Representación geométrica multidimensional de la función de pérdida en función de los parámetros de la red, caracterizada por una topología compleja de valles, crestas y mesetas.
Cuenca de Atracción
Región del espacio de parámetros desde la cual un algoritmo de optimización converge inevitablemente hacia un punto crítico particular bajo su dinámica.
Mínimos Agudos vs. Planos
Distinción entre mínimos locales con alta curvatura (agudos) potencialmente menos generalizables y aquellos con baja curvatura (planos) generalmente preferibles para la generalización.
Fenómeno de Meseta
Fase de entrenamiento donde el algoritmo se estanca en regiones de gradiente bajo, típica de las optimizaciones no convexas profundas y que requiere técnicas específicas para superarla.
Optimización Basada en el Momento
Familia de algoritmos que incorporan inercia basada en gradientes previos para acelerar la convergencia y atravesar de manera más eficiente las regiones difíciles del paisaje de pérdida.
Análisis de Puntos Críticos
Estudio sistemático de la distribución y propiedades de los puntos críticos en paisajes de pérdida no convexos para comprender la dinámica de optimización.
Descenso de Gradiente con Reinicios
Técnica de optimización que alterna periódicamente entre el descenso de gradiente y la reinicialización parcial de los parámetros para explorar diferentes cuencas de atracción.
Optimización sin Hessiana
Métodos de optimización de segundo orden que evitan el cálculo explícito de la matriz hessiana mientras aprovechan la información de curvatura para mejorar la convergencia.
Información de Curvatura
Uso de las segundas derivadas de la función de pérdida para guiar la optimización en regiones no convexas y mejorar la estabilidad de la convergencia.