Нормализация слоя

Предварительная нормализация слоя (Pre-Layer Normalization)

Вариант нормализации слоя, применяемый перед подуровнями внимания и прямого распространения, улучшающий стабильность обучения в глубоких Трансформерах.

← Назад