Глоссарий ИИ
Полный словарь искусственного интеллекта
Стек энкодеров
Набор идентичных слоёв, преобразующих входную последовательность в богатые контекстные представления, где каждый слой содержит механизмы внимания и полносвязные сети.
Стек декодеров
Архитектура, состоящая из слоёв, генерирующих выходную последовательность, использующая маскированное внимание для предотвращения утечек информации о будущих токенах и перекрёстное внимание с энкодером.
Внимание энкодер-декодер
Механизм, позволяющий декодеру получать доступ и фокусироваться на представлениях энкодера для генерации каждого выходного токена с учётом контекста.
Нормализация слоя
Техника стабилизации обучения, нормализующая активации для каждой позиции, применяемая до или после подслоёв в архитектуре трансформера.
Маскированное самовнимание
Вариант самовнимания, используемый в декодерах, где будущие позиции маскируются для предотвращения использования недоступной информации при генерации.
Масштабированное скалярное произведение внимания
Расчёт внимания с нормализацией скалярных произведений на квадратный корень из размерности ключей для стабилизации градиентов при обучении.
Головки внимания
Независимые подпространства в механизме многоголового внимания, каждое из которых обучается фокусироваться на различных типах зависимостей и паттернов в данных.
Эмбеддинг токена
Плотное непрерывное векторное представление каждого входного токена, являющееся отправной точкой архитектуры трансформера до добавления позиционной информации.