Эффективные Трансформеры

Universal Transformer

Адаптивная архитектура, где глубина определяется динамически с помощью механизма адаптивной остановки, а не является фиксированной. Universal Transformer итеративно применяет преобразования с общими весами и адаптивным вниманием.

← Назад