Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
BFGS
Algorithme d'optimisation quasi-Newton itératif qui approxime la matrice hessienne inverse pour trouver le minimum d'une fonction sans contraintes.
Approximation de Hessienne
Technique consistant à estimer la matrice des dérivées secondes d'une fonction sans calcul direct, utilisant les informations de gradient pour construire une approximation itérative.
Matrice d'inverse approximée
Approximation de l'inverse de la matrice hessienne construite progressivement dans les méthodes quasi-Newton pour déterminer la direction de descente optimale.
Ligne de recherche
Processus itératif déterminant la longueur du pas optimal dans la direction de descente pour minimiser la fonction objectif à chaque itération.
Correction de BFGS
Formule de mise à jour de l'approximation hessienne préservant la symétrie et la définie positivité de la matrice tout en satisfaisant l'équation sécante.
Mémoire limitée
Stratégie dans L-BFGS consistant à ne conserver qu'un nombre fixe d'itérations précédentes pour reconstruire l'approximation hessienne, réduisant complexité spatiale.
Convergence superlinéaire
Propriété des méthodes BFGS où le ratio des erreurs successives tend vers zéro, offrant une convergence plus rapide que la convergence linéaire mais moins que quadratique.
Équation sécante
Condition imposée dans les méthodes quasi-Newton garantissant que l'approximation hessienne transforme correctement la différence de gradients en différence de points.
Facteur de mise à scalaire
Paramètre initial dans L-BFGS ajustant l'approximation hessienne initiale pour améliorer la convergence sur les problèmes mal conditionnés.
Vecteur de correction
Paire de vecteurs (s, y) stockés dans L-BFGS où s représente le déplacement et y la différence de gradient, utilisés pour reconstruire l'approximation hessienne.
Direction de descente
Vecteur calculé en multipliant l'approximation hessienne inverse par le gradient négatif, indiquant la direction optimale pour minimiser la fonction.
Hessienne initiale
Matrice de départ dans les méthodes quasi-Newton, typiquement une matrice identité multipliée par un facteur d'échelle, servant de base pour les itérations successives.
Algorithme à deux boucles
Implémentation efficace de L-BFGS utilisant deux boucles pour calculer la direction de descente sans reconstruire explicitement la matrice hessienne complète.