Архитектура Трансформер

Слой Dropout

Техника регуляризации, которая случайным образом отключает нейроны во время обучения для предотвращения переобучения. Применяется после слоев внимания и прямой связи в Transformers.

← Назад