AI 詞彙表
人工智能完整詞典
Self-Supervised Pre-training
Phase d'entraînement initial où un modèle apprend des représentations générales sur de grandes quantités de données non étiquetées avant fine-tuning sur tâches spécifiques.
Generative Pre-training
Approche d'auto-supervision où le modèle apprend en générant ou reconstruisant des données, développant une compréhension profonde de la distribution sous-jacente.
Data Augmentation Auto-supervisée
Génération automatique de variations d'échantillons pour créer des paires positives/négatives utilisées comme signal d'entraînement supervisé implicite.
Bidirectional Encoder
Composant utilisant le contexte passé et futur pour encoder les tokens, crucial pour les tâches de masquage en auto-supervision générative.
Next Sentence Prediction
Tâche prétexte où le modèle prédit si deux phrases suivent logiquement, apprenant des relations inter-phrases sans supervision externe.
Causal Language Modeling
Tâche auto-supervisée où le modèle prédit les tokens futurs en se basant uniquement sur le contexte passé, contrairement au MLM bidirectionnel.
Pretext Task Design
Ingénierie des tâches de prétexte optimales pour capturer les structures pertinentes des données sans supervision externe, clé du succès de l'auto-supervision.