Глоссарий ИИ
Полный словарь искусственного интеллекта
Синусоидальное позиционное кодирование
Исходный метод позиционного кодирования, использующий синусоидальные функции разных частот для генерации уникальных и непрерывных позиционных векторов.
Изучаемое позиционное кодирование
Подход, при котором позиционные векторы являются обучаемыми параметрами модели, позволяя сети изучать оптимальные позиционные представления для задачи.
Относительное позиционное кодирование
Вариант кодирования, который фокусируется на относительных расстояниях между токенами, а не на их абсолютных позициях в последовательности.
Позиционное смещение
Техника позиционного кодирования, при которой позиционная информация добавляется в виде смещения в оценки внимания, а не во входные эмбеддинги.
Кодирование Alibi (Attention with Linear Biases)
Метод позиционного кодирования, который штрафует внимание в зависимости от расстояния между токенами, позволяя лучше экстраполировать на более длинные последовательности.
Ротационное позиционное кодирование (RoPE)
Техника, которая интегрирует позиционную информацию путем вращения векторов эмбеддинга в пространстве, сохраняя геометрические отношения между токенами.
Сверточное позиционное кодирование
Подход, использующий сверточные слои для генерации позиционных представлений, захватывающих локальные и глобальные паттерны в последовательностях.
Абсолютное позиционирование
Стратегия кодирования, при которой каждый токен получает уникальный идентификатор позиции на основе его абсолютного индекса в последовательности.
Относительное позиционирование
Стратегия, при которой внимание между токенами зависит от их относительного расстояния, а не от абсолютных позиций в последовательности.
Иерархическое позиционное кодирование
Метод, который кодирует позицию на нескольких уровнях детализации, захватывая как локальные, так и глобальные позиции в структуре последовательности.
Позиционные эмбеддинги
Плотные векторы, представляющие позицию каждого токена в последовательности, добавляемые к контентным эмбеддингам для формирования входных данных трансформера.
Матрица позиционирования
Математическая структура, содержащая позиционные кодировки для всех возможных позиций в последовательности максимальной длины.
Осевое позиционное кодирование
Техника позиционного кодирования для 2D данных (таких как изображения), которая отдельно кодирует позиции по горизонтальной и вертикальной осям.
Тензорное позиционное кодирование
Продвинутый метод, использующий тензорные произведения для захвата сложных взаимодействий между различными позиционными измерениями в последовательностях.
Периодическое позиционирование
Подход кодирования, использующий периодические паттерны для представления позиций, особенно эффективный для последовательностей с повторяющимися структурами.
Адаптивное позиционное кодирование
Техника, при которой позиционные кодировки динамически адаптируются в зависимости от содержания и длины обрабатываемой последовательности.
Позиционирование методом интерполяции
Метод, позволяющий расширить позиционные кодировки на длины последовательностей, не встречавшиеся при обучении, путем интерполяции существующих позиций.
Непрерывное позиционное кодирование
Подход, который рассматривает позицию как непрерывную, а не дискретную переменную, позволяя более точно представлять промежуточные позиции.
Позиционирование методом относительного внимания
Вариант, в котором оценки внимания напрямую модифицируются относительными расстояниями между токенами, интегрируя позиционирование в механизм внимания.