Глоссарий ИИ
Полный словарь искусственного интеллекта
Оценка Верности
Метрика, оценивающая степень соответствия сгенерированного ответа предоставленному контексту, измеряющая, подтверждаются ли утверждения фактами из полученных источников.
Релевантность Контекста
Показатель, количественно оценивающий соответствие полученных документов или отрывков исходному запросу, важный для оценки качества компонента извлечения в RAG.
Релевантность Ответа
Оценка, измеряющая, насколько сгенерированный ответ непосредственно и полностью отвечает на заданный вопрос, независимо от фактической достоверности.
Точность Извлечения
Доля релевантных документов среди всех извлеченных документов, оценивающая эффективность системы в возврате только полезной информации.
Полнота Извлечения
Соотношение извлеченных релевантных документов к общему количеству релевантных документов, доступных в базе знаний.
F1-мера Знаний
Среднее гармоническое между точностью и полнотой извлеченных знаний, предоставляющее сбалансированную меру общей производительности системы RAG.
Коэффициент Использования Контекста
Процент релевантной информации из извлеченного контекста, которая фактически используется в окончательном ответе, измеряющий эффективность использования источников.
Частота Галлюцинаций
Частота, с которой модель генерирует информацию, не подтвержденную предоставленным контекстом, критический показатель надежности системы RAG.
Семантический показатель схожести
Мера семантического сходства между сгенерированным ответом и эталонным ответом, использующая эмбеддинги для захвата смысловых нюансов.
Полнота ответа
Оценка охвата всех релевантных аспектов вопроса в сгенерированном ответе, обеспечивающая исчерпывающий ответ.
Задержка извлечения
Время, необходимое для извлечения релевантных документов из базы знаний, критически важный критерий для пользовательского опыта в продакшене.
Коэффициент эффективности токенов
Соотношение между количеством использованных релевантных токенов и общим количеством сгенерированных токенов, измеряющее экономическую эффективность системы RAG.
Показатель обоснованности
Метрика, оценивающая степень, в которой каждое утверждение в ответе подтверждается явными доказательствами в извлеченных источниках.
Точность атрибуции источников
Точность, с которой система правильно приписывает каждую часть ответа соответствующему документальному источнику в извлеченном контексте.
Согласованность ответа
Мера внутренней согласованности сгенерированного ответа, оценивающая отсутствие противоречий между различными частями ответа.
Разрешение неоднозначности запроса
Способность системы RAG интерпретировать и разрешать неоднозначности в пользовательском запросе для извлечения наиболее релевантной информации.
Оценка перекрытия информации
Измерение степени совпадения между информацией, представленной в ответе, и информацией, доступной в извлеченном контексте, избегая избыточности.
Точность ответа
Оценка фактической достоверности сгенерированного ответа по сравнению с эталонной истиной или проверенными источниками.
Покрытие извлечения
Объем базы знаний, фактически доступной системе извлечения, влияющий на способность отвечать на разнообразные вопросы.
Связность ответа
Качество логической структуры и повествовательного потока сгенерированного ответа, обеспечивающая четкое и понятное представление информации.