AdaDelta

Acumulación Histórica

Proceso que consiste en almacenar y acumular la información de los gradientes pasados para adaptar dinámicamente las tasas de aprendizaje. En AdaDelta, esta acumulación está limitada a una ventana deslizante para evitar el decaimiento infinito de la tasa de aprendizaje.

← Volver