Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Lookahead Mechanism
Technique d'optimisation qui maintient deux ensembles de poids : des poids rapides mis à jour fréquemment et des poids lents qui suivent la moyenne des poids rapides pour améliorer la généralisation.
Gradient Momentum
Paramètre d'accélération dans les méthodes d'optimisation qui accumule les gradients précédents avec un facteur de décroissance exponentiel, permettant de surmonter les minima locaux et d'accélérer la convergence.
Restart Strategy
Approche où le momentum est périodiquement réinitialisé à zéro pour éviter les oscillations et améliorer la convergence dans les problèmes d'optimisation non convexes avec Nesterov acceleration.
Adaptive Momentum Estimation
Extension des méthodes momentum qui adapte dynamiquement les taux d'apprentissage pour chaque paramètre en combinant les avantages de NAG avec la normalisation adaptative des gradients.
Gradient Noise Scale
Paramètre quantifiant le rapport entre la variance du gradient stochastique et la norme du gradient, influençant le choix de la taille de batch optimale dans les méthodes NAG.
Warmup Strategy
Technique initialisant progressivement le taux d'apprentissage et le momentum pour stabiliser les premières étapes d'entraînement avec NAG, particulièrement important dans les réseaux profonds.
Loss Landscape Smoothing
Effet bénéfique de NAG qui modifie implicitement la surface de la fonction de perte pour créer des bassins d'attraction plus larges autour des minima, facilitant l'optimisation.
Accelerated Coordinate Descent
Variante de la descente de coordonnées incorporant les principes d'accélération de Nesterov pour optimiser efficacement les problèmes de grande dimension avec des structures parcimonieuses.
Forward-Backward Splitting
Algorithme de point fixe pour l'optimisation composite, où l'accélération de Nesterov est appliquée à la partie lisse du problème tout en gérant les contraintes via des opérateurs proximaux.
Optimal Transport Gradient
Application de NAG dans les problèmes d'optimisation basés sur le transport optimal, où l'accélération permet de gérer efficacement les contraintes de masse et de conservation.