Adagrad

Suma histórica de los cuadrados de los gradientes

Acumulación exponencial de los cuadrados de los gradientes pasados utilizada en Adagrad para normalizar las actualizaciones de los parámetros, penalizando los gradientes altos frecuentes y favoreciendo las direcciones con gradientes históricamente bajos.

← Volver