Глоссарий ИИ
Полный словарь искусственного интеллекта
Плотный поиск по отрывкам (DPR)
Архитектура плотного поиска, специально разработанная для извлечения релевантных отрывков, использующая отдельные кодировщики BERT для вопросов и отрывков с контрастным обучением.
Архитектура Bi-Encoder
Архитектура поиска, использующая два независимых кодировщика для запросов и документов, позволяющая предварительно вычислять индексы документов для поиска в больших масштабах.
Архитектура Cross-Encoder
Архитектура, в которой запрос и документ объединяются и обрабатываются вместе одним кодировщиком, обеспечивающая более высокую точность за счет скорости поиска.
Иерархический навигируемый малый мир (HNSW)
Алгоритм индексации векторов, использующий многоуровневые графы для приближенного поиска ближайших соседей с отличным компромиссом между скоростью и точностью.
Максимальная маргинальная релевантность (MMR)
Алгоритм диверсификации результатов поиска, балансирующий релевантность и новизну, выбирающий документы, которые максимизируют релевантность при минимизации семантической избыточности.
Гибридный поиск
Подход, сочетающий плотный и разреженный поиск для использования соответствующих преимуществ семантического поиска и поиска по ключевым словам, улучшающий общую точность.
Sentence Transformers
Модели BERT, специально обученные для генерации высококачественных векторных представлений предложений, оптимизированные для задач семантического сходства и кластеризации.
Векторная индексация
Процесс организации плотных векторов в специализированные структуры данных для ускорения запросов на схожесть, необходимый для поиска в больших масштабах.
Плотное извлечение с расширенной генерацией
Расширение RAG, использующее специально плотное извлечение для предоставления релевантного контекста моделям генерации, улучшая согласованность и фактическую точность генерируемых ответов.
Позднее взаимодействие
Парадигма извлечения, где взаимодействия между запросом и документом происходят поздно в процессе, после раздельного кодирования, позволяя достичь компромисса между точностью и вычислительной эффективностью.