Glossario IA
Il dizionario completo dell'Intelligenza Artificiale
Matrice Hessienne
Matrice carrée des dérivées partielles secondes d'une fonction scalaire, contenant l'information sur la courbure locale utilisée pour améliorer la convergence.
Direction de Newton
Vecteur de recherche calculé comme l'inverse de la Hessienne multipliée par le gradient, indiquant la direction optimale de descente selon l'approximation quadratique locale.
Pas de Newton
Mise à jour itérative x_{k+1} = x_k - H^{-1}(x_k)∇f(x_k) où H est la Hessienne, réalisant une approximation quadratique et résolution exacte du sous-problème local.
Méthode de Newton-Raphson
Version historique de la méthode de Newton initialement développée pour la résolution d'équations non-linéaires, généralisée ensuite à l'optimisation multidimensionnelle.
Linéarisation de Taylor d'ordre 2
Approximation locale d'une fonction par son développement de Taylor au deuxième ordre, fondement théorique justifiant l'utilisation de la Hessienne dans les méthodes de Newton.
Régularisation de Hessienne
Technique ajoutant un terme λI à la Hessienne pour garantir sa définie positivité, évitant les directions de descente non valides lorsque la Hessienne est mal conditionnée.
Méthode de Quasi-Newton
Classe d'algorithmes approximant la Hessienne ou son inverse à partir des informations successives de gradient, évitant le coût calculatoire direct des dérivées secondes.
Algorithme BFGS
Méthode quasi-Newton populaire (Broyden-Fletcher-Goldfarb-Shanno) construisant une approximation de l'inverse de la Hessienne garantissant la définie positivité par construction.
Algorithme DFP
Première méthode quasi-Newton (Davidon-Fletcher-Powell) utilisant une formule de mise à jour symétrique pour approximer l'inverse de la Hessienne avec préservation de la définie positivité.
Méthode de Gauss-Newton
Algorithme spécialisé pour les problèmes de moindres carrés non-linéaires, approximant la Hessienne par J^TJ où J est la matrice jacobienne des résidus.
Méthode de Levenberg-Marquardt
Algorithme hybride interpolant entre la méthode de Gauss-Newton et la descente de gradient, utilisant un paramètre d'amortissement pour contrôler la régularisation.
Point Critique
Point où le gradient s'annule (∇f(x*) = 0), identifié par les méthodes de Newton comme candidat pour être un minimum local, maximum ou point selle.
Condition de Wolfe
Critère de sélection du pas dans les méthodes de Newton avec recherche linéaire, garantissant suffisamment de réduction de la fonction tout en maintenant une courbure adéquate.
Recherche Linéaire
Sous-problème déterminant la longueur optimale du pas dans une direction donnée, essentielle pour garantir la convergence globale des méthodes de Newton.
Algorithme de Newton Tronqué
Variante résolvant approximativement le système linéaire H d = -∇f avec des méthodes itératives comme le gradient conjugué, adaptée aux problèmes à grande échelle.
Hessienne Creuse
Matrice Hessienne contenant majoritairement des zéros, permettant des optimisations computationnelles significatives dans les méthodes de Newton pour les problèmes structurés.