Adaptive Learning Rate Methods

Exponential Moving Average (EMA)

Technique de lissage qui attribue plus de poids aux observations récentes, utilisée dans les optimisateurs adaptatifs pour estimer les moments des gradients.

← Retour