Глоссарий ИИ
Полный словарь искусственного интеллекта
Self-Supervised Learning
Paradigme d'apprentissage où un modèle apprend des représentations à partir de données non étiquetées en créant des tâches de supervision artificielles. Cette approche permet de tirer parti de vastes quantités de données sans annotation manuelle coûteuse.
Contrastive Learning
Technique d'apprentissage auto-supervisé qui apprend des représentations en rapprochant les échantillons positifs similaires et en éloignant les échantillons négatifs dissemblables dans l'espace d'embedding. Cette méthode maximise l'accord entre différentes augmentations du même échantillon.
Pretext Task
Tâche artificielle conçue pour l'apprentissage auto-supervisé qui force le modèle à apprendre des caractéristiques utiles à partir de données non étiquetées. Ces tâches servent de prétexte pour entraîner le modèle avant le transfert vers des tâches en aval.
Momentum Contrast (MoCo)
Framework d'apprentissage contrastif qui maintient une queue d'échantillons négatifs et utilise un encodeur momentum pour garantir la cohérence des représentations. Cette approche permet d'utiliser un grand nombre de négatifs sans nécessiter de batch size important.
SimCLR
Framework simple d'apprentissage contrastif qui maximise l'accord entre différentes augmentations du même échantillon après passage par un réseau neuronal. Cette approche démontre que l'augmentation de données et la taille du batch sont cruciales pour les performances.
BYOL
Méthode d'apprentissage auto-supervisé qui n'utilise pas d'échantillons négatifs, reposant plutôt sur deux réseaux avec une architecture asymétrique et un prédicteur. BYOL évite l'effondrement trivial grâce à l'arrêt de gradient et au mise à jour momentum.
Feature Representation
Encodage vectoriel des données brutes dans un espace latent où les relations sémantiques sont préservées et exploitables pour des tâches en aval. Les représentations apprises par auto-supervision capturent des caractéristiques génériques transférables.
Unlabeled Data
Données brutes sans annotations manuelles qui sont abondantes et peu coûteuses à collecter comparées aux données étiquetées. L'apprentissage auto-supervisé exploite efficacement ces données pour pré-entraîner des modèles performants.
Пространство вложений
Пространство векторов низкой размерности, в которое проецируются данные для захвата их семантических и структурных отношений. В самообучении целью является обучение дискриминативному пространству вложений.
Негативная выборка
Техника, заключающаяся в выборе примеров, которые должны быть удалены от якоря в пространстве вложений при контрастивном обучении. Стратегический выбор негативов напрямую влияет на качество изученных представлений.
Голова проекции
Дополнительная нейронная сеть, применяемая после основного кодера для отображения представлений в пространство, где вычисляется контрастивная потеря. Эта голова обычно удаляется при переносе на нисходящие задачи.
Архитектура кодера
Структура нейронной сети, отвечающая за преобразование необработанных данных в значимые векторные представления. Выбор архитектуры (ResNet, Transformer и т.д.) влияет на абстрактные возможности модели.
DINO
Самообучающийся метод, основанный на дистилляции знаний между двумя сетями без использования отрицательных образцов. DINO создает представления, которые естественно захватывают семантику изображений и хорошо подходят для кластеризации.