Эффективные Трансформеры

Compressive Transformer

Расширение Transformer-XL, которое сжимает старые скрытые состояния в более плотные векторы для сохранения долгосрочной истории. Такое сжатие позволяет эффективно хранить обширный контекст.

← Назад