Glosario IA
El diccionario completo de la Inteligencia Artificial
SGD basado en Momentum
Variante de SGD que incorpora una memoria de las actualizaciones previas para amortiguar las oscilaciones y acelerar la convergencia en direcciones de gradiente consistentes.
Mini-batch SGD
Compromiso entre SGD y gradiente por lotes, utilizando pequeños subconjuntos de datos para estimar los gradientes, ofreciendo un mejor equilibrio entre velocidad de convergencia y estabilidad numérica.
Gradiente Acelerado de Nesterov (NAG)
Variante mejorada de Momentum que realiza un paso de predicción antes del cálculo del gradiente, lo que resulta en una convergencia teóricamente superior y una mejor estabilidad numérica.
AdamW
Modificación de Adam que separa la decaimiento de peso de la actualización adaptativa, mejorando la generalización y la estabilidad en contextos de aprendizaje continuo.
AdaMax
Extensión de Adam que utiliza la norma infinita de los gradientes pasados en lugar de la norma L2, ofreciendo una mejor estabilidad numérica en algunos casos extremos de datos secuenciales.
Nadam
Combinación de Nesterov momentum y Adam, integrando la aceleración de Nesterov en el marco adaptativo de Adam para una convergencia potencialmente más rápida.