Глоссарий ИИ
Полный словарь искусственного интеллекта
Co-Attention
Бидирекциональный механизм, в котором две модальности или последовательности взаимно обращают внимание друг на друга для установления перекрестных корреляций. Фундаментален в мультимодальных задачах, таких как VQA (Visual Question Answering).
Attention Pyramid Network
Пирамидальная архитектура, интегрирующая механизмы внимания на каждом иерархическом уровне для постепенной агрегации информации. Позволяет эффективно объединять многомасштабные признаки с адаптивными весами внимания.
Cascaded Attention
Последовательное соединение слоев внимания, где выход одного слоя подается на следующий с постепенным уточнением. Позволяет тонко моделировать сложные зависимости на множестве этапов внимания.
Hierarchical Feature Learning
Процесс извлечения признаков на нескольких уровнях абстракции, от пикселя/токена до высокоуровневых концепций. Естественно интегрируется с иерархическим вниманием для структурированного представления данных.
Multi-Level Attention Fusion
Техника, объединяющая выходы механизмов внимания на разных иерархических уровнях посредством адаптивного взвешивания. Оптимизирует интеграцию многомасштабной контекстуальной информации в единое представление.
Hierarchical Self-Attention
Расширение механизма самовнимания, применяемое рекурсивно к иерархическим группировкам токенов или сегментов. Позволяет эффективно моделировать дальнодействующие зависимости в структурированных документах.
Global-Local Attention
Гибридная архитектура, объединяющая внимание ко всей последовательности с сфокусированным вниманием на локальных сегментах. Эффективно балансирует восприятие глобального контекста и мелких деталей.
Hierarchical Cross-Attention
Механизм, в котором иерархия запросов обращает внимание на иерархию ключей/значений для многоуровневого взаимодействия. Необходим в задачах перевода и генерации с иерархическими структурами.
Pyramid Attention Module
Специальный модуль, интегрирующий пирамиду внимания с прогрессивно уменьшающимися коэффициентами редукции для вычислительной эффективности. Оптимизирует соотношение производительности и затрат в моделях Vision Transformer.
Hierarchical Attention Network
Полноценная архитектура, основанная на иерархическом наложении механизмов внимания для обработки структурированных данных. Пионер в анализе тональности и классификации документов.
Multi-Granularity Attention
Подход, применяющий механизм внимания одновременно к данным разной степени гранулярности (слова, фразы, абзацы). Позволяет получить тонкое понимание текста на нескольких семантических уровнях.
Hierarchical Attention Routing
Механизм, динамически направляющий информацию через иерархию на основе оценок внимания. Оптимизирует поток информации в глубоких нейронных сетях с древовидными структурами.