Глоссарий ИИ
Полный словарь искусственного интеллекта
Двунаправленный кодировщик
Компонент, который обрабатывает всю входную последовательность одновременно, позволяя каждому токену обращать внимание на все остальные токены, как предыдущие, так и будущие, для полного контекстуального понимания.
Авторегрессионный декодер
Механизм генерации, при котором декодер создает выходную последовательность токен за токеном, основываясь только на ранее сгенерированных токенах и контекстуальном представлении кодировщика.
Механизм перекрестного внимания
Процесс в декодере, который позволяет ему сосредоточиться на конкретных частях выхода кодировщика, взвешивая важность каждого входного токена для генерации текущего выходного токена.
Каузальное маскирование
Техника, применяемая в декодере для предотвращения того, чтобы каждая позиция обращала внимание на будущие позиции, обеспечивая таким образом авторегрессионный характер генерации и отсутствие утечки информации.
Прямая передача (Полносвязная сеть)
Полностью связанная нейронная сеть, применяемая к каждой позиции независимо после механизма внимания, обеспечивающая нелинейное преобразование и проекцию в пространство более высокой размерности.
Нормализация по слоям (Layer Normalization)
Техника регуляризации, которая стабилизирует активации путем нормализации характеристик для каждого примера индивидуально, ускоряя сходимость и улучшая общую производительность модели.
Узкое место кодировщика
Векторное представление фиксированной размерности, часто окончательный выход кодировщика, которое сжимает всю информацию из входной последовательности и служит единым контекстом для декодера при генерации.
Вложения токенов
Плотные векторы высокой размерности, которые представляют каждый дискретный токен из словаря в непрерывном пространстве, захватывая семантическую и синтаксическую информацию, изученную во время обучения.