Glosario IA
El diccionario completo de la Inteligencia Artificial
Mecanismo Lookahead
Técnica de optimización que mantiene dos conjuntos de pesos: pesos rápidos actualizados frecuentemente y pesos lentos que siguen el promedio de los pesos rápidos para mejorar la generalización.
Momento del Gradiente
Parámetro de aceleración en los métodos de optimización que acumula los gradientes previos con un factor de decaimiento exponencial, permitiendo superar los mínimos locales y acelerar la convergencia.
Estrategia de Reinicio
Enfoque donde el momento se reinicia periódicamente a cero para evitar oscilaciones y mejorar la convergencia en problemas de optimización no convexos con aceleración de Nesterov.
Estimación Adaptativa del Momento
Extensión de los métodos de momento que adapta dinámicamente las tasas de aprendizaje para cada parámetro combinando las ventajas de NAG con la normalización adaptativa de los gradientes.
Escala de Ruido del Gradiente
Parámetro que cuantifica la relación entre la varianza del gradiente estocástico y la norma del gradiente, influyendo en la elección del tamaño de lote óptimo en los métodos NAG.
Estrategia de Calentamiento
Técnica que inicializa progresivamente la tasa de aprendizaje y el momento para estabilizar las primeras etapas de entrenamiento con NAG, particularmente importante en redes profundas.
Suavizado del Paisaje de Pérdida
Efecto beneficioso de NAG que modifica implícitamente la superficie de la función de pérdida para crear cuencas de atracción más amplias alrededor de los mínimos, facilitando la optimización.
Descenso de Coordenadas Acelerado
Variante del descenso de coordenadas que incorpora los principios de aceleración de Nesterov para optimizar eficazmente problemas de gran dimensión con estructuras dispersas.
Descomposición Adelante-Atrás
Algoritmo de punto fijo para la optimización compuesta, donde la aceleración de Nesterov se aplica a la parte suave del problema mientras se gestionan las restricciones a través de operadores proximales.
Gradiente de Transporte Óptimo
Aplicación de NAG en problemas de optimización basados en el transporte óptimo, donde la aceleración permite gestionar eficazmente las restricciones de masa y conservación.