एआई शब्दावली

📖

शब्द

Non-convex Optimization

Processus d'optimisation où la fonction objectif possède plusieurs minima locaux et points de selle, rendant la recherche de l'optimum global particulièrement complexe dans les espaces de haute dimension.

📖

शब्द

Saddle Points

Points critiques où le gradient s'annule mais qui ne sont ni des minima ni des maxima, constituant des obstacles majeurs dans l'optimisation des réseaux profonds par leur abondance en haute dimension.

📖

शब्द

Critical Points

Points dans l'espace des paramètres où le gradient de la fonction de perte s'annule, incluant minima locaux, maxima locaux et points de selle.

📖

शब्द

Escape Dynamics

Mécanismes par lesquels les algorithmes d'optimisation stochastique peuvent échapper aux points de selle et minima locaux peu profonds grâce au bruit du gradient.

📖

शब्द

Loss Landscape

Représentation géométrique multidimensionnelle de la fonction de perte en fonction des paramètres du réseau, caractérisée par une topologie complexe de vallées, crêtes et plateaux.

📖

शब्द

Basin of Attraction

Région de l'espace des paramètres à partir de laquelle un algorithme d'optimisation converge inévitablement vers un point critique particulier sous sa dynamique.

📖

शब्द

Sharp vs Flat Minima

Distinction entre minima locaux avec courbure élevée (sharp) potentiellement moins généralisables et ceux à courbure faible (flat) généralement préférables pour la généralisation.

📖

शब्द

Plateau Phenomenon

Phase d'entraînement où l'algorithme stagne dans des régions de faible gradient, typique des optimisations non-convexes profondes et nécessitant des techniques spécifiques pour la surmonter.

📖

शब्द

Momentum-based Optimization

Famille d'algorithmes incorporant une inertie basée sur les gradients précédents pour accélérer la convergence et traverser plus efficacement les régions difficiles du paysage de perte.

📖

शब्द

Critical Point Analysis

Étude systématique de la distribution et des propriétés des points critiques dans les paysages de perte non-convexes pour comprendre la dynamique d'optimisation.

📖

शब्द

Gradient Descent with Restarts

Technique d'optimisation alternant périodiquement entre descente de gradient et réinitialisation partielle des paramètres pour explorer différents bassins d'attraction.

📖

शब्द

Hessian-free Optimization

Méthodes d'optimisation de second ordre évitant le calcul explicite de la matrice hessienne tout en exploitant les informations de courbure pour améliorer la convergence.

📖

शब्द

Curvature Information

Utilisation des dérivées secondes de la fonction de perte pour guider l'optimisation dans les régions non-convexes et améliorer la stabilité de la convergence.