Learning Rate Scheduling

Inverse Time Decay

Méthode de scheduling où le learning rate décroît inversement proportionnellement au temps ou au nombre d'itérations, suivant une fonction de type alpha/(1 + decay_rate * step). Cette approche assure des réductions moins agressives que le decay exponentiel.

← Geri