Глоссарий ИИ
Полный словарь искусственного интеллекта
Нейронный машинный перевод (NMT)
Подход к машинному переводу, использующий глубокие нейронные сети для моделирования соответствия между языками, являющийся основой современных межъязыковых систем QA.
Мультиязычные представления
Общие векторные пространства, в которых слова и фразы из разных языков проецируются в единое семантическое пространство, позволяя осуществлять перенос знаний между языками.
Межъязыковое выравнивание
Процесс сопоставления лингвистических и семантических структур между разными языками для облегчения передачи информации в системах QA.
Проекция языка
Техника, заключающаяся в переводе только вопроса или документов на общий промежуточный язык перед применением одноязычной системы QA.
Мультиязычная токенизация
Процесс сегментации текста на базовые единицы (токены), учитывающий морфологические и синтаксические особенности нескольких языков одновременно.
Межъязыковая тонкая настройка
Этап адаптации предварительно обученной мультиязычной модели на данных, специфичных для задачи QA, на одном или нескольких целевых языках.
Языковой сдвиг (Language Shift)
Феномен, при котором производительность модели снижается при переходе от языка с большим объемом ресурсов к языку с низким объемом ресурсов в межъязыковых системах QA.
Мультиязычные контекстуальные эмбеддинги
Динамические векторные представления, которые захватывают смысл слов в зависимости от их контекста, общие для нескольких языков для лучшего семантического понимания.
Обратный перевод (Back-Translation)
Метод аугментации данных, при котором тексты переводятся на целевой язык, а затем обратно на исходный язык для генерации синтетических обучающих данных.
Взвешивание языков
Стратегия выборки обучающих данных, направленная на выравнивание вклада каждого языка, чтобы избежать доминирования языков с большим объемом данных.
Определение языка
Важный компонент межъязыковых систем QA, который автоматически определяет язык входного вопроса для выбора соответствующей обработки.
Межъязыковая нормализация
Процесс стандартизации текстовых представлений на разных языках для уменьшения языковых вариаций и повышения надежности системы QA.
Универсальные языковые модели
Модели, разработанные для фиксации лингвистических закономерностей, общих для всех человеческих языков, служащие основой для действительно многоязычных систем QA.
Адаптация к переключению кодов (Code-Switching)
Способность системы QA обрабатывать вопросы, содержащие смесь нескольких языков, что является распространенным явлением в естественных многоязычных контекстах.
Межъязыковая оценка
Специфические методологии для измерения производительности систем QA на различных языковых парах, включая такие метрики, как XNLI или MLQA.