Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Sparsity Constraint
Pénalité ajoutée à la fonction de perte d'un autoencoder pour limiter le nombre d'unités actives simultanément dans la couche cachée, favorisant ainsi des représentations éparse et efficaces.
KL Divergence Sparsity
Méthode de contrainte de parcimonie utilisant la divergence de Kullback-Leibler entre la distribution d'activation moyenne et une distribution cible sparse typiquement de Bernoulli.
Activity Regularization
Processus de pénalisation directe des activations des neurones pendant l'entraînement pour contrôler leur niveau d'activité moyen et imposer une structure sparse au modèle.
Sparsity Parameter
Hyperparamètre ρ définissant la densité cible d'activation souhaitée pour chaque neurone caché, typiquement fixée à une faible valeur comme 0.05 pour imposer une forte parcimonie.
Denoising Sparse Autoencoder
Variante d'autoencoder sparse qui reconstruit l'entrée originale à partir d'une version corrompue par du bruit, combinant robustesse et parcimonie pour de meilleures représentations.
Hidden Layer Sparsity
Propriété d'une couche cachée où seule une petite fraction des neurones est activée pour toute entrée donnée, favorisant des représentations distribuées mais parcimonieuses.
ReLU Activation for Sparsity
Utilisation de la fonction d'activation ReLU qui naturellement induit de la parcimonie par saturation des valeurs négatives à zéro, complétant les contraintes de régularisation explicites.
Sparse Bottleneck
Couche de compression d'un autoencoder où la parcimonie est appliquée pour créer un goulot d'étranglement informationnel tout en préservant les caractéristiques les plus discriminantes.
Interpretable Features
Caractéristiques apprises par un autoencoder sparse qui correspondent à des patterns discernables et significatifs dans les données d'origine grâce à la contrainte de parcimonie.
Compression Efficiency
Mesure de performance quantifiant le ratio entre le nombre de bits nécessaires pour stocker la représentation sparse et celui de l'entrée originale.
Feature Selectivity
Capacité des neurones dans un autoencoder sparse à répondre sélectivement à des motifs spécifiques dans les données, résultant de la contrainte de parcimonie.
Population Sparsity
Type de parcimonie où seule une petite fraction de la population totale de neurones est active pour une entrée donnée, contrairement à la parcimonie de durée.
Reconstruction Loss with Sparsity
Fonction objectif combinant l'erreur de reconstruction standard avec un terme de pénalité de parcimonie pour équilibrer fidélité de reconstruction et parcimonie de représentation.