Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Régularisation L1
Technique de régularisation qui ajoute une pénalité égale à la valeur absolue des coefficients du modèle, favorisant la sparsité et éliminant automatiquement les features non pertinentes.
Régularisation L2
Méthode de pénalisation qui ajoute un terme proportionnel au carré des coefficients, réduisant leur magnitude sans les annuler complètement pour contrer le surapprentissage.
Elastic Net
Combination linéaire des régularisations L1 et L2 qui hérite des propriétés de sélection de variables du Lasso et de la stabilité de Ridge, particulièrement efficace en présence de features corrélées.
Hyperparamètre lambda
Paramètre de régularisation contrôlant l'intensité de la pénalité appliquée aux coefficients, où lambda=0 correspond à l'absence de régularisation et lambda élevé augmente la contrainte.
Norme L1
Norme vectorielle calculée comme la somme des valeurs absolues des composantes, utilisée comme terme de pénalité dans la régularisation L1 pour induire la sparsité.
Norme L2
Norme euclidienne calculée comme la racine carrée de la somme des carrés des composantes, employée dans la régularisation L2 pour pénaliser les grands coefficients.
Shrinkage
Processus de réduction systématique de la magnitude des coefficients du modèle vers zéro pour diminuer la complexité et améliorer la généralisation.
Dilemme biais-variance
Compromis fondamental en apprentissage automatique entre la réduction du biais (erreur systématique) et la réduction de la variance (sensibilité aux fluctuations des données).
Coefficient alpha
Paramètre de mélange dans Elastic Net variant entre 0 (régularisation L2 pure) et 1 (régularisation L1 pure) pour ajuster la proportion relative des deux pénalités.
Path de régularisation
Trajectoire des solutions du modèle lorsque le paramètre de régularisation varie, permettant d'analyser l'évolution des coefficients et leur sélection progressive.
Vecteur de poids
Ensemble des coefficients multiplicatifs appliqués aux features dans un modèle linéaire, dont la magnitude est contrôlée par les techniques de régularisation.
Pénalité de groupe
Extension de la régularisation L1/L2 qui pénalise des groupes de coefficients simultanément, utile pour gérer des variables catégorielles ou structurées.
Régularisation adaptative
Variante de la régularisation où chaque coefficient reçoit une pénalité individualisée basée sur des estimations préliminaires, permettant une sélection plus fine des variables.
Critère d'information
Métriques comme AIC ou BIC qui équilibrent l'ajustement du modèle et sa complexité, souvent utilisées pour sélectionner le paramètre de régularisation optimal.
Descente de gradient régularisée
Algorithme d'optimisation incorporant les termes de pénalisation L1/L2 directement dans la fonction objectif pour entraîner des modèles régularisés efficacement.
Coordonnée descendante
Méthode d'optimisation particulièrement efficace pour la régularisation L1 qui met à jour les coefficients un par un de manière analytique.