Learning Rate Scheduling

Warmup

Phase initiale d'entraînement où le taux d'apprentissage augmente progressivement depuis une valeur faible jusqu'à sa valeur cible. Cette technique stabilise les premiers pas d'apprentissage et prévient la divergence du modèle dans les architectures profondes.

← Back