Momentum

Momentum stochastique

Application du momentum dans l'optimisation stochastique où les gradients bruités sont moyennés temporellement pour réduire la variance des estimations. Cette technique est particulièrement efficace dans l'entraînement sur de grands jeux de données avec des mini-batchs.

← Geri