Learning Rate Scheduling

One-cycle Policy

Politique de scheduling qui augmente le learning rate jusqu'à un maximum puis le décroît jusqu'à une valeur finale, souvent combinée avec une variation de momentum inversement proportionnelle. Cette approche a démontré des performances supérieures pour l'entraînement rapide des réseaux neuronaux.

← Retour