Глоссарий ИИ
Полный словарь искусственного интеллекта
Механизм внимания
Позволяет модели взвешивать важность различных частей входных данных при обработке.
Самовнимание
Механизм, в котором каждый элемент последовательности обращает внимание на все остальные элементы той же последовательности.
Многоголовое внимание
Расширение механизма самовнимания, использующее несколько голов внимания параллельно для захвата различных типов отношений.
Позиционное кодирование
Техника для встраивания позиционной информации в эмбеддинги без использования РНН.
Архитектура кодировщик-декодировщик
Фундаментальная структура трансформеров с кодировщиком для понимания и декодировщиком для генерации.
Масштабированное скалярное произведение внимания
Базовая математическая форма вычисления внимания с масштабированием в Трансформерах.
Сети прямого распространения
Полносвязные сети, применяемые после каждого слоя внимания в Трансформерах.
Нормализация слоя
Техника нормализации, применяемая в Трансформерах для стабилизации обучения.
Маски внимания
Механизм для контроля того, какие токены могут обращать внимание на другие токены.
Vision Transformers (ViT)
Применение архитектуры Transformer к обработке изображений путем разделения изображений на патчи.
Архитектура BERT
Трансформер, использующий только кодировщик, предобученный с задачами маскированного языкового моделирования
Архитектура GPT
Трансформер с декодером только, оптимизированный для авторегрессионной генерации текста.
Cross-Attention
Механизм внимания между двумя различными последовательностями в кодерах-декодерах.
Разреженное внимание
Вариант внимания, который уменьшает сложность, вычисляя только выборочные пары.
Иерархическое внимание
Многоуровневая архитектура, применяющая внимание на различных уровнях гранулярности.
Визуализация внимания
Техники для интерпретации и визуализации весов внимания в трансформерах.
Оптимизация трансформеров
Специфические методы эффективного обучения больших моделей трансформеров.
Мультимодальные трансформеры
Расширенная архитектура Трансформер для одновременной обработки нескольких типов данных.
Эффективные Трансформеры
Оптимизированные варианты Трансформеров для снижения вычислительной сложности.
Варианты механизмов внимания
Различные подходы и усовершенствования механизма внимания, выходящие за рамки скалярного произведения.