Нормализация слоя

Эпсилон в LayerNorm

Параметр числовой стабильности, добавляемый в нормализацию слоя для предотвращения деления на ноль при вычислении дисперсии активаций.

← Назад