Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Descente de Gradient
Algorithme d'optimisation itératif qui suit la direction opposée du gradient pour minimiser une fonction.
Descente de Gradient Stochastique
Variante de la descente de gradient utilisant un échantillon aléatoire unique à chaque itération.
Mini-batch Gradient Descent
Compromis entre GD et SGD utilisant de petits lots d'exemples pour mettre à jour les paramètres.
Momentum
Technique accélérant la convergence en ajoutant une composante d'inertie aux mises à jour de gradient.
Nesterov Accelerated Gradient
Variante du momentum qui anticipe la position future pour des mises à jour plus précises.
Adagrad
Adaptatif du taux d'apprentissage basé sur la somme historique des carrés des gradients.
RMSprop
Méthode adaptative utilisant une moyenne mobile des carrés des gradients pour normaliser les mises à jour.
Adam Optimizer
Combinaison de momentum et RMSprop avec estimations adaptatives des moments premier et second.
AdamW
Variante d'Adam avec une régularisation L2 découplée pour de meilleures performances.
AdaDelta
Extension d'Adagrad limitant l'accumulation historique pour un taux d'apprentissage stable.
Méthodes de Newton
Algorithmes utilisant la matrice Hessienne pour une convergence quadratique locale.
BFGS et L-BFGS
Méthodes quasi-Newton approximant la Hessienne avec une mémoire limitée (L-BFGS).
Gradient Conjugué
Méthode itérative efficace pour les grands systèmes linéaires et l'optimisation non-linéaire.
Descente de Gradient Projetée
Technique pour l'optimisation sous contraintes en projetant sur l'ensemble admissible.
Méthodes Proximal Gradient
Algorithmes combinant descente de gradient et opérateur proximal pour fonctions non-lisses.