Глоссарий ИИ
Полный словарь искусственного интеллекта
Позиционное кодирование
Техника добавления информации об абсолютной или относительной позиции к входным эмбеддингам, позволяющая модели понимать порядок токенов в последовательности.
Предварительная нормализация слоя (Pre-Layer Normalization)
Вариант нормализации слоя, применяемый перед подуровнями внимания и прямого распространения, улучшающий стабильность обучения в глубоких Трансформерах.
Последующая нормализация слоя (Post-Layer Normalization)
Исходная конфигурация нормализации слоя, применяемая после подуровней внимания и прямого распространения, в сочетании с остаточными связями.
RMS-нормализация
Эффективный вариант нормализации слоя, использующий только среднеквадратичное значение активаций, что снижает вычислительную сложность при сохранении производительности.
Структура Кодировщик-Декодировщик
Двунаправленная архитектура, состоящая из кодировщика, обрабатывающего входную последовательность, и декодировщика, генерирующего выходную последовательность, являющаяся основой моделей Трансформер.
Эпсилон в LayerNorm
Параметр числовой стабильности, добавляемый в нормализацию слоя для предотвращения деления на ноль при вычислении дисперсии активаций.