Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Stochastic Gradient Descent (SGD)
Algorithme d'optimisation de base qui met à jour les paramètres en utilisant un échantillon aléatoire à chaque itération.
Mini-batch Gradient Descent
Variante du SGD qui utilise de petits lots d'échantillons pour équilibrer variance et efficacité computationnelle.
Momentum-based Optimization
Techniques incorporant une inertie pour accélérer la convergence et réduire les oscillations dans les vallées étroites.
Adaptive Learning Rate Methods
Algorithmes comme Adam et RMSprop qui ajustent dynamiquement le taux d'apprentissage pour chaque paramètre.
Variance Reduction Techniques
Méthodes comme SVRG et SAGA qui réduisent la variance des estimations de gradient pour améliorer la convergence.
Distributed SGD
Approches parallélisant le SGD sur plusieurs machines pour accélérer l'entraînement de modèles à grande échelle.
Non-convex Optimization
Techniques spécialisées pour l'optimisation de fonctions non-convexes typiques dans les réseaux de neurones profonds.
Learning Rate Scheduling
Stratégies d'ajustement du taux d'apprentissage pendant l'entraînement pour optimiser la convergence.
Second-order Stochastic Methods
Algorithmes utilisant des informations de deuxième ordre approximatives pour accélérer la convergence.
Federated Learning Optimization
Méthodes SGD adaptées pour l'entraînement distribué préservant la confidentialité sur des données décentralisées.
Robust Stochastic Optimization
Techniques rendant l'optimisation résiliente aux données bruitées et aux attaques adversariales.
Online Learning Optimization
Variantes SGD adaptées aux scénarios où les données arrivent séquentiellement et nécessitent des mises à jour continues.