Glosario IA
El diccionario completo de la Inteligencia Artificial
Step Decay
Método de programación que reduce la tasa de aprendizaje por un factor multiplicativo en intervalos de épocas predefinidos. Este enfoque simple pero efectivo permite reducciones abruptas de la tasa de aprendizaje para refinar progresivamente el modelo.
Exponential Decay
Estrategia donde la tasa de aprendizaje disminuye exponencialmente con el tiempo o el número de iteraciones según una fórmula matemática predefinida. Este método asegura una reducción continua y progresiva de la tasa de aprendizaje a lo largo del entrenamiento.
Warmup
Fase inicial de entrenamiento donde la tasa de aprendizaje aumenta progresivamente desde un valor bajo hasta su valor objetivo. Esta técnica estabiliza los primeros pasos de aprendizaje y previene la divergencia del modelo en arquitecturas profundas.
Cyclic Learning Rate
Estrategia oscilatoria donde la tasa de aprendizaje varía cíclicamente entre límites inferior y superior definidos. Este método permite explorar diferentes regiones del espacio de parámetros y puede acelerar la convergencia.
One-cycle Policy
Política de programación que aumenta la tasa de aprendizaje hasta un máximo y luego la disminuye hasta un valor final, a menudo combinada con una variación de momentum inversamente proporcional. Este enfoque ha demostrado un rendimiento superior para el entrenamiento rápido de redes neuronales.
ReduceLROnPlateau
Mecanismo adaptativo que reduce la tasa de aprendizaje cuando una métrica de rendimiento deja de mejorar durante un número determinado de épocas. Esta estrategia ajusta dinámicamente la tasa de aprendizaje en función del rendimiento real del modelo.
Learning Rate Finder
Técnica empírica para determinar un rango óptimo de tasas de aprendizaje observando la pérdida del modelo en un aumento exponencial de la tasa de aprendizaje. Este método identifica el valor máximo viable antes de la divergencia del modelo.
SGDR
Stochastic Gradient Descent with Restarts, variante del SGD que integra reinicios periódicos de la tasa de aprendizaje según una política de cosine annealing. Esta técnica permite escapar de los puntos de silla y mejorar la generalización.
Reinicios Cálidos de Tasa de Aprendizaje
Política de programación que combina reinicios periódicos de la tasa de aprendizaje con fases de calentamiento progresivas en cada ciclo. Este enfoque híbrido optimiza la exploración y explotación en el espacio de parámetros.
Decaimiento Polinomial
Estrategia de reducción de la tasa de aprendizaje según una función polinomial del tiempo o del número de pasos de entrenamiento. Este método ofrece un control preciso sobre la velocidad de decaimiento gracias al parámetro de potencia.
Decaimiento Inverso del Tiempo
Método de programación donde la tasa de aprendizaje disminuye inversamente proporcional al tiempo o al número de iteraciones, siguiendo una función del tipo alpha/(1 + decay_rate * step). Este enfoque asegura reducciones menos agresivas que el decaimiento exponencial.
Prueba de Rango de Tasa de Aprendizaje
Procedimiento diagnóstico que entrena el modelo en una sola época mientras se varía la tasa de aprendizaje en un amplio rango logarítmico. El resultado ayuda a identificar los límites óptimos para las estrategias de tasa de aprendizaje cíclica.
Momento de Tasa de Aprendizaje
Coordinación entre la programación de la tasa de aprendizaje y el ajuste del parámetro de momento para optimizar la convergencia. Este enfoque sincronizado puede mejorar significativamente la estabilidad y la velocidad de entrenamiento.