AI Glossary
The complete dictionary of Artificial Intelligence
Stochastic Gradient Descent (SGD)
Algorithme d'optimisation de base qui met à jour les paramètres en utilisant un échantillon aléatoire à chaque itération.
Mini-batch Gradient Descent
Variant of SGD that uses small batches of samples to balance variance and computational efficiency.
Momentum-based Optimization
Techniques incorporant une inertie pour accélérer la convergence et réduire les oscillations dans les vallées étroites.
Adaptive Learning Rate Methods
Algorithmes comme Adam et RMSprop qui ajustent dynamiquement le taux d'apprentissage pour chaque paramètre.
Variance Reduction Techniques
Méthodes comme SVRG et SAGA qui réduisent la variance des estimations de gradient pour améliorer la convergence.
Distributed SGD
Approaches parallelizing SGD across multiple machines to accelerate large-scale model training.
Non-convex Optimization
Techniques spécialisées pour l'optimisation de fonctions non-convexes typiques dans les réseaux de neurones profonds.
Learning Rate Scheduling
Stratégies d'ajustement du taux d'apprentissage pendant l'entraînement pour optimiser la convergence.
Second-order Stochastic Methods
Algorithmes utilisant des informations de deuxième ordre approximatives pour accélérer la convergence.
Federated Learning Optimization
Méthodes SGD adaptées pour l'entraînement distribué préservant la confidentialité sur des données décentralisées.
Robust Stochastic Optimization
Techniques rendant l'optimisation résiliente aux données bruitées et aux attaques adversariales.
Online Learning Optimization
Variantes SGD adaptées aux scénarios où les données arrivent séquentiellement et nécessitent des mises à jour continues.