Глоссарий ИИ
Полный словарь искусственного интеллекта
Кросс-энкодерное переранжирование
Архитектура переранжирования, в которой трансформер обрабатывает запрос и каждый документ одновременно как единую входную последовательность для оценки их взаимной релевантности. Этот подход обеспечивает высокую точность за счет более высокой вычислительной сложности.
MonoT5 Переранжирование
Модель переранжирования на основе T5, которая переформулирует задачу ранжирования как проблему генерации текста с использованием специальных токенов 'True' и 'False'. Этот подход позволяет эффективно переупорядочивать полученные документы, используя возможности понимания естественного языка.
ColBERT Переранжирование
Система переранжирования на основе позднего токен-уровневого взаимодействия, которая кодирует документы и запросы в контекстуализированные векторы для каждого токена. Этот метод захватывает гранулярные соответствия, сохраняя приемлемую вычислительную эффективность.
BGE Ранкер
Модель переранжирования, оптимизированная для задач семантического поиска, обученная на обширных корпусах данных релевантности с архитектурой кросс-энкодера. Она превосходно различает релевантные и нерелевантные документы для систем RAG.
Списковая функция потерь
Функция потерь, которая напрямую оптимизирует полный порядок списка полученных документов, а не отдельные пары. Этот подход учитывает глобальное распределение релевантности для улучшения качества переранжирования.
Парная функция потерь
Функция обучения, которая сравнивает пары документов, чтобы научиться различать более релевантный и менее релевантный документ. Этот метод особенно эффективен для систем переранжирования с обучением с учителем.
Многоэтапное извлечение
Архитектура извлечения, состоящая из нескольких последовательных фаз, включая начальное широкое извлечение с последующим одним или несколькими уровнями постепенно более точного переранжирования. Этот подход балансирует эффективность и точность в крупномасштабных системах RAG.
Переранжирование пассажей
Процесс переранжирования, применяемый специально к пассажам или сегментам текста, а не к целым документам, для увеличения гранулярности в выборе релевантного контента. Эта техника оптимизирует качество входных данных для генерации в RAG.
Обучение ранжированию (LTR)
Парадигма машинного обучения, применяемая для ранжирования информации, где модели обучаются упорядочивать элементы по их релевантности. LTR объединяет различные характеристики для оптимизации метрик ранжирования, таких как NDCG и MAP.
Нейронный поиск информации
Подход к поиску информации, использующий нейронные сети для моделирования релевантности между запросами и документами с помощью плотных векторных представлений. Этот метод захватывает сложные семантические отношения, выходящие за рамки простого соответствия ключевых слов.
Повторное ранжирование с плотным поиском
Техника переупорядочивания на основе плотных эмбеддингов, которая переоценивает релевантность изначально найденных документов, используя векторные сходства в семантическом пространстве. Этот метод уточняет результаты первоначального поиска для улучшения конечного качества.
Взаимодействие запрос-документ
Фундаментальный механизм в системах повторного ранжирования, который явно моделирует взаимодействия между терминами запроса и документа для вычисления оценки релевантности. Этот подход захватывает сложные зависимости, выходящие за рамки независимых представлений.
Цикл обратной связи по релевантности
Итеративный процесс, в котором оценки релевантности ранжированных результатов используются для уточнения модели повторного ранжирования или самого запроса. Эта техника адаптивного обучения непрерывно улучшает производительность системы.
Повторное ранжирование на основе внимания
Архитектура повторного ранжирования, использующая механизмы внимания для идентификации и взвешивания наиболее релевантных частей документов относительно запроса. Этот подход позволяет проводить тонкую контекстуальную оценку документальной релевантности.