Adagrad

Facteur d'échelle diagonal

Matrice diagonale préconditionnant le gradient dans Adagrad, dont chaque élément représente la racine carrée de la somme accumulée des carrés des gradients pour chaque paramètre individuel.

← Geri