Глоссарий ИИ
Полный словарь искусственного интеллекта
Разделение модальностей
Механизм, обратный слиянию, заключающийся в декомпозиции внутренней семантической представления в несколько выходных сигналов, адаптированных для каждой модальности (генерация текста, синтез речи, отображение изображений).
Разделяемое латентное представление
Единое векторное пространство пониженной размерности, в котором кодируются признаки различных модальностей, что упрощает задачи перевода и сравнения между ними.
Ситуационный диалог
Форма диалога, в которой контекст обогащается и привязывается к физической или воспринимаемой среде (например, робот в комнате), требуя непрерывной интерпретации сенсорных сигналов.
Мультимодальное управление намерениями
Обнаружение и интерпретация намерения пользователя путем объединения индикаторов из нескольких каналов, например, жест руки в сочетании с голосовой командой для указания на объект.
Корреляция модальностей
Статистический анализ или обучение взаимосвязей и зависимостей между потоками данных различных модальностей для повышения согласованности и точности системы.
Архитектура раннего слияния (Early Fusion)
Стратегия интеграции, при которой необработанные признаки каждой модальности конкатенируются или объединяются на очень раннем этапе модели, перед слоями глубокой обработки.
Архитектура позднего слияния (Late Fusion)
Подход, при котором каждая модальность обрабатывается отдельной подсетью до продвинутого этапа, после чего выходные данные этих подсетей объединяются для принятия окончательного решения.