Глоссарий ИИ
Полный словарь искусственного интеллекта
Sinusoidal Positional Encoding
Méthode d'encodage positionnel utilisant des fonctions sinusoïdales de différentes fréquences pour créer des représentations de position uniques et déterministes sans apprentissage de paramètres.
Learned Positional Encoding
Approche où les embeddings de position sont appris comme paramètres entraînables du modèle, permettant une optimisation adaptative aux données d'entraînement spécifiques.
Relative Positional Encoding
Technique avancée qui encode les distances relatives entre les tokens plutôt que leurs positions absolues, améliorant la généralisation à des longueurs de séquence variables.
Absolute Positional Encoding
Méthode traditionnelle d'encodage positionnel où chaque position dans la séquence reçoit un embedding unique basé sur son index absolu dans la séquence.
Rotary Positional Encoding (RoPE)
Technique innovante qui applique une rotation matricielle aux embeddings de requête et clé, intégrant efficacement les informations de position directement dans le mécanisme d'attention.
Alibi Positional Encoding
Méthode qui pénalise les scores d'attention en fonction de la distance entre les tokens, permettant une extrapolation efficace à des longueurs de séquence plus longues sans réentraînement.
Position Embeddings
Vecteurs denses représentant la position de chaque token dans une séquence, ajoutés ou concaténés aux embeddings de tokens pour fournir des informations de localisation spatiale ou temporelle.
Attention with Positional Encoding
Intégration de l'encodage positionnel dans le mécanisme d'attention pour permettre au modèle de pondérer différemment les tokens en fonction de leurs positions relatives dans la séquence.
Позиционные встраивания BERT
Особая реализация позиционного кодирования в архитектуре BERT, использующая обучаемые позиционные встраивания с фиксированной максимальной длиной последовательности в 512 токенов.
Позиционное кодирование GPT
Система позиционного кодирования, используемая в моделях GPT, изначально основанная на обучаемых позиционных встраиваниях для эффективного моделирования направленных зависимостей в тексте.
Позиционное кодирование в Transformer
Ключевой компонент оригинальной архитектуры Transformer, использующий синусоидальные кодирования, чтобы позволить модели использовать порядок токенов без рекуррентных механизмов.
3D позиционное кодирование
Расширение позиционного кодирования на трёхмерные данные, такие как объёмы или видео, включающее информацию о положении по трём пространственным или временным осям.
Комплексное позиционное кодирование
Продвинутый вариант, использующий комплексные числа для представления позиций, позволяющий более богатое моделирование пространственных отношений и множественных частот.
Иерархическое позиционное кодирование
Структурированный подход, который кодирует позиции на нескольких уровнях гранулярности, захватывая как локальные, так и глобальные позиции в последовательности.
Позиционное кодирование T5
Особая реализация в архитектуре T5, использующая скалярные позиционные встраивания, добавляемые к встраиваниям токенов, разработанная для упрощения архитектуры при сохранении производительности.
Относительное позиционное кодирование в XLNet
Сложный механизм в XLNet, который моделирует относительные расстояния между токенами в вычислении внимания, обеспечивая лучшую генерализацию на различных длинах последовательности.
DeBERTa с разделенным вниманием
Инновация в DeBERTa, которая явно разделяет контент и позицию в механизме внимания, используя разделенное позиционное кодирование для улучшения представления.
Позиционное кодирование Longformer
Система позиционного кодирования, адаптированная для обработки длинных последовательностей, сочетающая глобальные и локальные позиционные эмбеддинги для оптимизации скользящего оконного внимания.
Хеширование с учетом локальности Reformer
Специализированная техника в Reformer, которая использует LSH с позиционным кодированием для снижения вычислительной сложности внимания на очень длинных последовательностях.