Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Perte InfoNCE
Fonction de perte contrastive basée sur le principe de l'estimation de la mutuelle information normalisée par le bruit pour discriminer les échantillons positifs des négatifs.
Température (τ)
Hyperparamètre scalaire dans la softmax contrastive qui contrôle la concentration de la distribution et l'espacement des représentations dans l'espace latent.
Représentation Latente
Vecteur de caractéristiques de dimension fixe appris par l'encodeur qui capture les informations sémantiques essentielles des données d'entrée.
Queue Mémoire
Structure de données FIFO stockant les représentations des batchs précédents pour augmenter le nombre d'échantillons négatifs dans l'apprentissage contrastif.
Momentum Encoder
Encodeur avec paramètres mis à jour par moyenne mobile exponentielle pour garantir la consistance des représentations clés dans les méthodes contrastives avancées.
Fortes Augmentations
Transformations de données agressives comme RandomResizedCrop, color jittering et Gaussian blur créant des vues substantiellement différentes mais sémantiquement équivalentes.
Linear Evaluation Protocol
Méthode d'évaluation standard où seul un classifieur linéaire est entraîné sur les représentations gelées pour mesurer la qualité des features apprises.
Batch Size Large
Utilisation de batchs de grande taille (4096-8192) dans SimCLR pour fournir suffisamment d'échantillons négatifs sans nécessiter de mémoire ou de tricks supplémentaires.
Espace de Projection
Espace de caractéristiques de dimension réduite (typiquement 128) où la perte contrastive est appliquée, distinct de l'espace des représentations finales.