AI 용어집
인공지능 완전 사전
Momentum-based SGD
Variante de SGD incorporant une mémoire des mises à jour précédentes pour amortir les oscillations et accélérer la convergence dans les directions consistentes du gradient.
Mini-batch SGD
Compromis entre SGD et gradient batch, utilisant de petits sous-ensembles de données pour estimer les gradients, offrant un meilleur équilibre entre vitesse de convergence et stabilité numérique.
Nesterov Accelerated Gradient (NAG)
Variante améliorée de Momentum effectuant une étape de prévision avant le calcul du gradient, résultant en une convergence théoriquement supérieure et une meilleure stabilité numérique.
AdamW
Modification d'Adam séparant la dégradation du poids de la mise à jour adaptative, améliorant la généralisation et la stabilité dans les contextes d'apprentissage continu.
AdaMax
Extension d'Adam utilisant la norme infinie des gradients passés au lieu de la norme L2, offrant une meilleure stabilité numérique dans certains cas extrêmes de données séquentielles.
Nadam
Combinaison de Nesterov momentum et Adam, intégrant l'accélération de Nesterov dans le framework adaptatif d'Adam pour une convergence potentiellement plus rapide.