Глоссарий ИИ
Полный словарь искусственного интеллекта
Механизм внимания
Математическая основа, позволяющая моделям взвешивать относительную важность элементов в последовательности данных.
Самовнимание
Механизм, в котором каждый элемент последовательности вычисляет свое внимание относительно всех остальных элементов той же последовательности.
Многоголовое внимание
Расширение механизма внимания, использующее несколько голов внимания параллельно для выявления различных типов отношений.
Позиционное кодирование
Техника встраивания последовательной позиции элементов в эмбеддинги без использования РНС
Architecture Encoder-Decoder
Structure fondamentale des Transformers séparant le traitement d'entrée (encodeur) et la génération de sortie (décodeur).
Масштабирование внимания
Нормализация квадратным корнем размерности для стабилизации обучения и предотвращения взрыва градиентов.
Перекрестное внимание
Механизм внимания между двумя различными последовательностями, используемый в задачах перевода и мультимодальных задачах.
Разреженное внимание
Вариант внимания, вычисляемый только на подмножестве позиций для снижения вычислительной сложности.
Маски внимания
Механизмы управления, позволяющие маскировать определенные позиции при вычислении внимания для предотвращения утечки информации.
Визуальные трансформеры
Адаптация архитектуры трансформера к задачам компьютерного зрения путем обработки изображений как последовательностей патчей.
Эффективное внимание
Набор оптимизаций, направленных на снижение квадратичной сложности стандартного внимания для более длинных последовательностей.
Иерархическое внимание
Многоуровневая структура внимания, захватывающая отношения на различных иерархических уровнях в данных.