Глоссарий ИИ
Полный словарь искусственного интеллекта
Визуализация весов внимания
Графическая техника, представляющая числовые значения внимания между токенами последовательности, использующая интенсивности цвета или размера для количественной оценки отношений важности.
Тепловые карты
Двумерное матричное представление, где цвета кодируют интенсивность весов внимания, позволяющее быстро определить области высокой концентрации внимания.
Анализ голов внимания
Сравнительное исследование индивидуальных паттернов внимания в каждой голове механизма многоголового внимания, выявляющее функциональные специализации и избыточность между головами.
Паттерны многоголового внимания
Одновременная визуализация различных механизмов внимания в слое Transformer, показывающая, как каждая голова захватывает различные типы синтаксических или семантических отношений.
Матрица самовнимания
Квадратная матрица, представляющая веса внимания между всеми парами токенов одной последовательности, где каждый элемент (i,j) указывает влияние токена j на токен i.
Визуализация перекрестного внимания
Графическое представление весов внимания между двумя различными последовательностями, обычно используемое в моделях кодер-декодер для визуализации выравниваний источник-цель.
Распространение внимания
Метод рекурсивного распространения весов внимания через последовательные слои для вычисления кумулятивного влияния токена на конечные прогнозы модели.
Поток внимания
Техника визуализации, показывающая, как информация циркулирует через слои Transformer, отслеживая пути влияния внимания между токенами.
Gradient-Based Attention
Подход, использующий градиенты выхода относительно весов внимания для выявления наиболее релевантных вкладов в предсказание модели.
Token-to-Token Attention
Прямая визуализация попарных отношений внимания между токенами, позволяющая выявлять локальные и глобальные зависимости во входной последовательности.
Layer-wise Attention Analysis
Сравнительный анализ паттернов внимания на разных глубинах сети, выявляющий эволюцию абстрактных представлений от нижних слоёв к верхним.
Attention Trajectory
Временная визуализация эволюции весов внимания во время инференса или обучения, показывающая, как паттерны стабилизируются или изменяются динамически.
Attention Saliency Maps
Тепловые карты, накладываемые на входной текст для выделения токенов, получающих наибольшее внимание, что облегчает интерпретацию решений модели.
Attention Propagation
Техника отслеживания того, как сигналы внимания распространяются и усиливаются по сети, выявляя критические пути для принятия решений.
Attention Projection
Снижение размерности весов внимания из высокоразмерного пространства в визуализируемые 2D/3D пространства с использованием техник вроде t-SNE или UMAP для выявления кластеров схожих паттернов.
Attention Clustering
Автоматическая группировка схожих паттернов внимания для выявления повторяющихся поведений или функциональных специализаций в механизмах внимания.
Классификация паттернов внимания
Автоматическая категоризация типов паттернов внимания (синтаксических, семантических, позиционных) на основе их структурных и дистрибутивных характеристик.