Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Self-Supervised Learning
Paradigme d'apprentissage où un modèle apprend des représentations à partir de données non étiquetées en créant des tâches de supervision artificielles. Cette approche permet de tirer parti de vastes quantités de données sans annotation manuelle coûteuse.
Contrastive Learning
Technique d'apprentissage auto-supervisé qui apprend des représentations en rapprochant les échantillons positifs similaires et en éloignant les échantillons négatifs dissemblables dans l'espace d'embedding. Cette méthode maximise l'accord entre différentes augmentations du même échantillon.
Pretext Task
Tâche artificielle conçue pour l'apprentissage auto-supervisé qui force le modèle à apprendre des caractéristiques utiles à partir de données non étiquetées. Ces tâches servent de prétexte pour entraîner le modèle avant le transfert vers des tâches en aval.
Momentum Contrast (MoCo)
Framework d'apprentissage contrastif qui maintient une queue d'échantillons négatifs et utilise un encodeur momentum pour garantir la cohérence des représentations. Cette approche permet d'utiliser un grand nombre de négatifs sans nécessiter de batch size important.
SimCLR
Framework simple d'apprentissage contrastif qui maximise l'accord entre différentes augmentations du même échantillon après passage par un réseau neuronal. Cette approche démontre que l'augmentation de données et la taille du batch sont cruciales pour les performances.
BYOL
Méthode d'apprentissage auto-supervisé qui n'utilise pas d'échantillons négatifs, reposant plutôt sur deux réseaux avec une architecture asymétrique et un prédicteur. BYOL évite l'effondrement trivial grâce à l'arrêt de gradient et au mise à jour momentum.
Feature Representation
Encodage vectoriel des données brutes dans un espace latent où les relations sémantiques sont préservées et exploitables pour des tâches en aval. Les représentations apprises par auto-supervision capturent des caractéristiques génériques transférables.
Unlabeled Data
Données brutes sans annotations manuelles qui sont abondantes et peu coûteuses à collecter comparées aux données étiquetées. L'apprentissage auto-supervisé exploite efficacement ces données pour pré-entraîner des modèles performants.
Embedding Space
Espace vectoriel de faible dimension où les données sont projetées pour capturer leurs relations sémantiques et structurelles. Dans l'apprentissage auto-supervisé, l'objectif est d'apprendre un espace d'embedding discriminatif.
Negative Sampling
Technique consistant à sélectionner des exemples qui doivent être éloignés de l'anchor dans l'espace d'embedding lors de l'apprentissage contrastif. Le choix stratégique des négatifs influence directement la qualité des représentations apprises.
Projection Head
Réseau neuronal additionnel appliqué après l'encodeur principal pour mapper les représentations vers l'espace où la perte contrastive est calculée. Cette tête est typiquement supprimée lors du transfert vers des tâches en aval.
Encoder Architecture
Structure du réseau neuronal responsable de transformer les données brutes en représentations vectorielles significatives. Le choix de l'architecture (ResNet, Transformer, etc.) influence les capacités d'abstraction du modèle.
DINO
Méthode auto-supervisée basée sur la distillation de connaissances entre deux réseaux sans utiliser d'échantillons négatifs. DINO produit des représentations qui capturent naturellement la sémantique des images et se prêtent bien au clustering.