AI Glossary
The complete dictionary of Artificial Intelligence
Moment premier
Moyenne mobile exponentielle des gradients dans Adam, représentant l'estimation du premier moment statistique (la moyenne) qui guide la direction de mise à jour des paramètres.
Moment second
Moyenne mobile exponentielle des carrés des gradients dans Adam, représentant l'estimation du second moment statistique non-centré (la variance non-centrée) qui adapte la magnitude des mises à jour.
Beta1
Hyperparamètre d'Adam contrôlant le taux de décroissance exponentielle pour la moyenne mobile du moment premier (gradient), typiquement fixé à 0.9 pour équilibrer nouveauté et historique.
Beta2
Hyperparamètre d'Adam contrôlant le taux de décroissance exponentielle pour la moyenne mobile du moment second (carré du gradient), typiquement fixé à 0.999 pour une estimation stable de la variance.
AMSGrad
Modification d'Adam qui maintient le maximum des estimations du second moment pour garantir une convergence théorique, évitant les augmentations non monotones des taux d'apprentissage effectifs.
Schedule decay
Stratégie de réduction progressive du taux d'apprentissage dans Adam, souvent utilisée pour affiner la convergence dans les dernières phases d'entraînement en réduisant la taille des pas.