Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Automatic Differentiation
Technique algorithmique pour calculer efficacement les dérivées de fonctions définies par des programmes informatiques, basée sur la chaîne de différenciation et le graphe computationnel des opérations.
Computational Graph
Structure de données représentant les dépendances entre les opérations mathématiques dans un modèle, permettant la propagation avant et le calcul automatique des gradients par rétropropagation.
Variance Reduction Techniques
Méthodes comme SVRG (Stochastic Variance Reduced Gradient) ou SAGA qui réduisent la variance des estimations de gradient pour accélérer la convergence tout en maintenant l'efficacité computationnelle.
Stochastic Newton Methods
Algorithmes d'optimisation du second ordre adaptant la méthode de Newton au cadre stochastique, utilisant des approximations de la matrice Hessienne pour des directions de descente plus informatives.
Hessian-vector Products
Calcul efficace du produit entre la matrice Hessienne et un vecteur sans expliciter la Hessienne complète, essentiel pour les méthodes d'optimisation du second ordre à grande échelle.