Глоссарий ИИ
Полный словарь искусственного интеллекта
Лимит токенов
Техническое ограничение, определяющее максимальное количество токенов, которые могут быть включены в запрос или ответ модели. Это ограничение напрямую влияет на объем контекстной информации, который может быть использован в системах RAG.
Сжатие контекста
Техника семантического сокращения контекста для сохранения важной информации при соблюдении ограничений по токенам. Использует методы такие как суммаризация или экстракция для оптимизации доступного пространства.
Иерархический контекст
Организационная структура контекста на нескольких иерархических уровнях для оптимизации пространства и улучшения релевантности информации. Позволяет эффективно управлять отношениями между различными частями контекста.
Чанкинг контекста
Интеллектуальная сегментация контекста на согласованные блоки для оптимизации обработки и интеграции извлеченной информации. Эта техника улучшает релевантность и уменьшает избыточность в системах RAG.
Динамическое окно контекста
Адаптивное окно контекста, размер которого динамически корректируется в зависимости от сложности и релевантности информации. Этот подход оптимизирует использование вычислительных ресурсов.
Оценка релевантности контекста
Механизм количественной оценки релевантности каждого сегмента контекста относительно пользовательского запроса. Эта оценка направляет отбор и приоритизацию информации для включения в окно.
Обрезка контекста
Процесс селективного удаления менее релевантной контекстной информации для оптимизации доступного пространства. Эта техника сохраняет наиболее полезные данные при соблюдении ограничений по токенам.
Обработка переполнения контекста
Стратегия управления ситуацией, когда контекст превышает максимальную емкость окна, включая техники усечения, сжатия или реорганизации. Эти механизмы обеспечивают непрерывность обработки.
Управление контекстом в нескольких оборотах
Сложное управление контекстом в ходе нескольких разговорных обменов для поддержания согласованности и релевантности. Требует постоянной оптимизации окна для включения новых элементов.
Встраивание контекста
Векторное представление контекста, позволяющее эффективно оценивать семантику и оптимизировать интеграцию в системы RAG. Эта техника облегчает поиск и контекстуальное сходство.
Семантическое извлечение контекста
Процесс извлечения контекста на основе семантического понимания, а не точного соответствия ключевых слов. Этот подход улучшает релевантность информации, интегрированной в окно.
Дополнение окна контекста
Техника стратегического добавления контекстной информации для оптимизации использования доступного пространства без превышения пределов. Дополнение обеспечивает лучшую согласованность и контекстуальную непрерывность.
Внимание к окну контекста
Механизм взвешенного внимания, применяемый специально к окну контекста для идентификации наиболее релевантных сегментов. Эта техника оптимизирует выбор информации в системах RAG.
Адаптивное изменение размера контекста
Динамическая корректировка размера окна контекста в соответствии с конкретными требованиями каждого запроса. Этот персонализированный подход максимизирует эффективность контекстной обработки.
Стратегия кэширования контекста
Метод кэширования контекста для оптимизации производительности и снижения вычислительной нагрузки в системах RAG. Позволяет быстро извлекать релевантную контекстную информацию.
Трансформер длинного контекста
Оптимизированная архитектура модели для эффективной обработки очень длинных контекстов, превышающих традиционные пределы. Использует эффективные механизмы внимания для управления расширением контекста.
Слияние контекста
Процесс интеллектуальной интеграции множественных контекстных источников для создания единого и последовательного представления. Эта техника оптимизирует использование пространства в контекстном окне.
Оптимизация контекстного окна
Совокупность техник и алгоритмов, направленных на максимизацию эффективности и релевантности информации, содержащейся в контекстном окне. Она сочетает сжатие, выбор и стратегическую организацию данных.