Архитектура Трансформер

Синусоидальное позиционное кодирование

Метод позиционного кодирования, использующий синусоидальные функции различных частот, позволяющий модели экстраполировать на длины последовательностей, не встречавшиеся при обучении.

← Назад