Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Opérateur Proximal
Opérateur mathématique qui généralise la projection sur un ensemble convexe, défini comme argmin_y{f(y) + (1/2λ)||y-x||²}. Il permet de traiter efficacement les problèmes d'optimisation avec des régularisateurs non-différentiables comme la norme L1.
Fonction Proximate
Fonction convexe semi-continue inférieurement pour laquelle l'opérateur proximal est bien défini. Inclut les fonctions convexes fermées comme la norme L1, l'indicatrice d'ensembles convexes, et les pénalités de groupe.
Algorithme ISTA
Iterative Soft-Thresholding Algorithm, méthode proximale spécifique pour la régularisation L1. Effectue une étape de gradient suivie d'un seuillage doux pour imposer la parcimonie dans les solutions.
Algorithme FISTA
Fast Iterative Soft-Thresholding Algorithm, version accélérée d'ISTA utilisant les techniques d'accélération de Nesterov. Atteint un taux de convergence optimal O(1/k²) pour les problèmes convexes avec régularisation L1.
Accélération de Nesterov
Technique d'accélération pour méthodes de gradient premier ordre utilisant des termes d'inertie mémoire. Améliore significativement la convergence de O(1/k) à O(1/k²) pour les problèmes convexes.
Condition de Lipschitz
Hypothèse que le gradient de la fonction objectif est L-Lipschitz continu, garantissant une convergence stable. Détermine la taille maximale du pas autorisée dans les méthodes proximales.
Moreau-Yosida Regularization
Technique de lissage de fonctions convexes non-différentiables par convolution quadratique. Crée des fonctions C1 tout en préservant les minima originaux via l'enveloppe de Moreau.
Problèmes Structurés
Problèmes d'optimisation avec structure spécifique exploitée par les méthodes proximales. Inclut les régularisateurs groupés, les normes mixtes et les contraintes structurelles complexes.
ADMM Proximal
Alternating Direction Method of Multipliers avec opérateur proximal, adapté pour contraintes complexes. Décompose le problème en sous-problèmes plus simples résolus alternativement avec mise à jour du multiplicateur.
Convergence Linéaire
Taux de convergence géométrique où l'erreur diminue exponentiellement avec le nombre d'itérations. Atteinte par les méthodes proximales sous conditions de forte convexité ou erreur quadratique moyenne bornée.
Pas de Taille Variable
Stratégie adaptative pour la sélection du pas d'apprentissage dans les méthodes proximales. Techniques comme backtracking line search optimisent la convergence en ajustant dynamiquement λ selon la courbure locale.
Stochastic Proximal Gradient
Version stochastique du gradient proximal utilisant des mini-batchs pour les problèmes à grande échelle. Combine efficacité computationnelle du SGD avec traitement des régularisateurs non-différentiables.
Point Fixe Proximal
Formulation des méthodes proximales comme itérations de point fixe sur un opérateur contractant. Garantit convergence unique sous conditions de Lipschitz et convexité appropriate.
Composite Optimization
Optimisation de fonctions objectives composites combinant termes lisses et non-lisses. Champ d'application principal des méthodes proximal gradient en apprentissage statistique et traitement du signal.