Słownik AI
Kompletny słownik sztucznej inteligencji
Non-convex Optimization
Processus d'optimisation où la fonction objectif possède plusieurs minima locaux et points de selle, rendant la recherche de l'optimum global particulièrement complexe dans les espaces de haute dimension.
Saddle Points
Points critiques où le gradient s'annule mais qui ne sont ni des minima ni des maxima, constituant des obstacles majeurs dans l'optimisation des réseaux profonds par leur abondance en haute dimension.
Critical Points
Points dans l'espace des paramètres où le gradient de la fonction de perte s'annule, incluant minima locaux, maxima locaux et points de selle.
Escape Dynamics
Mécanismes par lesquels les algorithmes d'optimisation stochastique peuvent échapper aux points de selle et minima locaux peu profonds grâce au bruit du gradient.
Loss Landscape
Représentation géométrique multidimensionnelle de la fonction de perte en fonction des paramètres du réseau, caractérisée par une topologie complexe de vallées, crêtes et plateaux.
Basin of Attraction
Région de l'espace des paramètres à partir de laquelle un algorithme d'optimisation converge inévitablement vers un point critique particulier sous sa dynamique.
Sharp vs Flat Minima
Distinction entre minima locaux avec courbure élevée (sharp) potentiellement moins généralisables et ceux à courbure faible (flat) généralement préférables pour la généralisation.
Plateau Phenomenon
Phase d'entraînement où l'algorithme stagne dans des régions de faible gradient, typique des optimisations non-convexes profondes et nécessitant des techniques spécifiques pour la surmonter.
Momentum-based Optimization
Famille d'algorithmes incorporant une inertie basée sur les gradients précédents pour accélérer la convergence et traverser plus efficacement les régions difficiles du paysage de perte.
Critical Point Analysis
Étude systématique de la distribution et des propriétés des points critiques dans les paysages de perte non-convexes pour comprendre la dynamique d'optimisation.
Gradient Descent with Restarts
Technique d'optimisation alternant périodiquement entre descente de gradient et réinitialisation partielle des paramètres pour explorer différents bassins d'attraction.
Hessian-free Optimization
Méthodes d'optimisation de second ordre évitant le calcul explicite de la matrice hessienne tout en exploitant les informations de courbure pour améliorer la convergence.
Curvature Information
Utilisation des dérivées secondes de la fonction de perte pour guider l'optimisation dans les régions non-convexes et améliorer la stabilité de la convergence.