Глоссарий ИИ
Полный словарь искусственного интеллекта
Мультимодальная модель
Архитектура искусственного интеллекта, способная одновременно обрабатывать и интегрировать несколько типов данных, таких как текст, изображения, аудио и видео, в единой структуре.
Раннее слияние
Стратегия мультимодальной интеграции, при которой различные модальности объединяются на уровне исходных характеристик до обработки основной моделью.
Позднее слияние
Мультимодальный подход, при котором каждая модальность обрабатывается независимо до последних слоев модели, перед объединением представлений для принятия окончательного решения.
Кросс-модальное выравнивание
Процесс обучения, направленный на установление семантических соответствий между различными модальностями в общем пространстве представлений.
Визуально-языковое кодирование
Механизм, одновременно преобразующий визуальные и текстовые входные данные в совместимые векторные представления для совместной обработки.
Кросс-модальное внимание
Механизм внимания, позволяющий модели динамически взвешивать важность информации одной модальности относительно другой.
Мультимодальные эмбеддинги
Плотные векторные представления, кодирующие информацию из нескольких модальностей в общем семантическом пространстве.
Мультимодальное обучение с нулевым примером
Способность мультимодальной модели обобщать новые задачи или комбинации модальностей без специфических обучающих примеров.
Мультимодальная токенизация
Процесс преобразования различных модальностей (изображение, аудио, видео) в последовательности токенов, совместимые с архитектурой Transformer.
Мультимодальное контрастное предварительное обучение
Метод самообучения, максимизирующий сходство между положительными мультимодальными парами и минимизирующий сходство отрицательных пар.
Проекция в общее латентное пространство
Линейное или нелинейное преобразование, выравнивающее пространства представления различных модальностей в едином векторном пространстве.
Гибридная архитектура энкодер-декодер
Структура, сочетающая специализированные энкодеры для каждой модальности с унифицированным декодером для генерации мультимодальных выходов.
Мультимодальная тонкая настройка
Процесс адаптации предварительно обученной мультимодальной модели к конкретным задачам с сохранением её способностей межмодальной обработки.
Мультимодальный инжиниринг промптов
Техника оптимизации входных данных, сочетающая текст и другие модальности для эффективного направления мультимодальных моделей к желаемым результатам.
Мультимодальное цепочечное рассуждение
Способность модели генерировать явные шаги рассуждения, интегрируя доказательства из множественных модальностей.
Мультимодальная условная генерация
Процесс создания контента в целевой модальности на основе условий или ограничений, предоставленных в других модальностях.
Промежуточное слияние
Стратегия мультимодальной интеграции, где модальности объединяются на нескольких промежуточных уровнях нейронной сети.
Мультимодальные Трансформеры
Расширение архитектуры Transformer, способное одновременно обрабатывать последовательности из различных модальностей с адаптированными механизмами внимания.