Нормализация слоя

RMS-нормализация

Эффективный вариант нормализации слоя, использующий только среднеквадратичное значение активаций, что снижает вычислительную сложность при сохранении производительности.

← Назад