Глоссарий ИИ
Полный словарь искусственного интеллекта
Предварительное обучение Vision-Language
Подход к самообучению, при котором модели предварительно обучаются на больших корпусах изображений и связанных текстов. Устанавливает фундаментальные соответствия между визуальными концепциями и языковыми описаниями перед тонкой настройкой.
Совместное обучение представлений
Процесс одновременного изучения общих характеристик между несколькими модальностями для создания унифицированного представления. Захватывает корреляции и взаимодополняемость между модальностями в едином векторе.
Слияние модальностей
Стратегическая интеграция информации из различных модальностей для создания обогащенного и согласованного представления. Эффективно объединяет соответствующие преимущества каждой модальности в единый выход.
Привязка (Grounding)
Процесс ассоциации абстрактных концепций (часто текстовых) с конкретными элементами в другой модальности (обычно визуальной). Устанавливает прямые связи между словами и конкретными областями или объектами на изображениях.
Функция потерь выравнивания
Специально разработанная функция потерь для оптимизации семантического соответствия между элементами различных модальностей. Направляет обучение к оптимальному выравниванию в общем пространстве представлений.
Семантическая согласованность
Принцип, гарантирующий, что мультимодальные представления сохраняют согласованный смысл через различные модальности. Обеспечивает, что семантически эквивалентные элементы имеют схожие характеристики.
Мультимодальное предварительное обучение
Фаза инициализации весов мультимодальной модели на массовых неразмеченных данных. Развивает фундаментальные способности выравнивания перед адаптацией к конкретным задачам.
Метрики выравнивания модальностей
Количественные показатели, оценивающие качество соответствия между представлениями различных модальностей. Измеряют точность и семантическую согласованность изученных выравниваний.
Слабо контролируемое выравнивание
Подход к обучению, использующий частичные или зашумленные аннотации для выравнивания модальностей. Снижает зависимость от размеченных данных, сохраняя при этом разумную производительность выравнивания.
Самообучающееся многомодальное обучение
Парадигма, в которой модель автоматически изучает выравнивания, используя естественные корреляции между неразмеченными модальностями. Генерирует внутренние обучающие сигналы из многомодальной структуры данных.