Глоссарий ИИ
Полный словарь искусственного интеллекта
Линейная проекция
Линейное преобразование, применяемое к входным встраиваниям для генерации пространств Query, Key и Value в каждой головке многоголового внимания.
Маскирование внимания
Техника, применяющая бесконечно отрицательные значения к определенным позициям в матрице внимания для предотвращения нежелательных взаимодействий между элементами последовательности.
Конкатенация многоголового внимания
Операция, объединяющая выходы всех головок внимания путем конкатенации их представлений перед финальной линейной проекцией для создания выхода.
Контекстуальное встраивание
Обогащенное векторное представление, генерируемое механизмом внимания, которое включает контекстную информацию всей последовательности для каждого элемента.
Размерность головки внимания
Уменьшенная размерность каждого подпространства внимания в многоголовом внимании, обычно вычисляемая как размерность_модели / количество_головок.
Параллельное вычисление внимания
Процесс, в котором несколько головок внимания вычисляются одновременно в параллельном режиме, позволяя эффективно захватывать различные аспекты последовательных отношений.
Остаточное соединение внимания
Остаточное соединение, добавляющее исходный вход к выходу слоя внимания, облегчая обучение глубоких сетей путем сохранения потока информации.
Распределение внимания
Распределение вероятностей по элементам последовательности, генерируемое softmax, указывающее, куда модель 'смотрит' при обработке конкретного элемента.