Momentum-based Optimization

AdamW

Variante d'Adam qui découple la dégradation des poids (weight decay) de la mise à jour adaptative, appliquant la dégradation directement aux poids plutôt qu'aux gradients.

← Retour