AI Glossary
The complete dictionary of Artificial Intelligence
SimSiam
Architecture d'apprentissage auto-supervisé sans échantillons négatifs qui prévient l'effondrement des représentations grâce à une opération stop-gradient.
Collapse des représentations
Phénomène où l'encodeur produit des représentations identiques pour toutes les entrées, éliminant ainsi toute information discriminative.
Prédiction de tête
Réseau neuronal MLP qui transforme les projections de l'encodeur en prédictions utilisées pour le calcul de la perte dans SimSiam.
Stop-Gradient
Opération qui bloque la propagation du gradient dans une branche du réseau, essentielle pour prévenir le collapse dans SimSiam.
Projecteur
Couche MLP qui projette les représentations de l'encodeur dans un espace où la similarité est calculée pour la perte.
Perte de similarité cosinus
Fonction de perte basée sur la similarité cosinus entre les prédictions et les projections arrêtées dans SimSiam.
Appariement positif
Processus d'alignement des représentations de différentes vues augmentées de la même image dans l'espace latent.
Collapse trivial
Solution dégénérée où toutes les représentations sont identiques, maximisant la similarité mais éliminant toute information utile.
Dimensionnalité latente
Espace de représentation de haute dimension où les caractéristiques apprises sont encodées par l'encodeur.
Architecture siamese
Structure réseau avec deux branches partageant les mêmes poids, utilisées pour traiter différentes vues augmentées simultanément.
Taux d'apprentissage par paliers
Stratégie d'optimisation où le taux d'apprentissage est réduit par paliers successifs pendant l'entraînement.
Normalisation par lots
Technique de normalisation qui stabilise l'entraînement en normalisant les activations sur chaque mini-batch.
Symétrisation de la perte
Calcul de la perte dans les deux directions (vue1 vers vue2 et vue2 vers vue1) pour améliorer la stabilité de l'entraînement.