AI-woordenlijst
Het complete woordenboek van kunstmatige intelligentie
Borne inférieure de l'information mutuelle
Estimation mathématique qui garantit que la valeur calculée ne dépasse jamais la vraie information mutuelle entre deux variables aléatoires. Dans le contexte de l'apprentissage par contraste, cette borne permet d'optimiser indirectement l'information mutuelle sans la calculer directement.
Échantillons négatifs
Exemples utilisés dans l'apprentissage par contraste qui sont considérés comme dissemblables à l'ancre et doivent être éloignés dans l'espace de représentation. Le choix stratégique des échantillons négatifs est crucial pour la performance des modèles contrastifs.
Échantillons positifs
Paires d'exemples considérés comme sémantiquement similaires dans l'apprentissage par contraste, généralement générés par des augmentations de la même image ou des éléments temporellement proches. Le modèle apprend à maximiser leur similarité dans l'espace latent.
Instance discrimination
Tâche prétexte où chaque instance dans un batch est traitée comme sa propre classe distincte dans l'apprentissage par contraste. Cette approche force le modèle à apprendre des représentations uniques pour chaque échantillon individuel.
Mutual information maximization
Objectif d'apprentissage visant à maximiser l'information partagée entre différentes vues augmentées des mêmes données. InfoNCE fournit une estimation efficace et scalable de cet objectif dans les contextes de haute dimension.
NT-Xent loss
Normalized Temperature-scaled Cross-Entropy Loss, une implémentation spécifique de la perte InfoNCE utilisée dans SimCLR. Cette perte normalise les vecteurs avant d'appliquer la température dans le softmax.
Memory bank
Structure de données stockant des représentations d'échantillons précédents pour servir de réservoir d'échantillons négatifs dans l'apprentissage par contraste. Cette approche permet d'utiliser un grand nombre de négatifs sans surcharge computationnelle.