Трансформеры для длинных последовательностей

Осевое позиционное кодирование

Метод позиционного кодирования, разлагающий двумерную позицию в одномерные кодирования по осям. Обеспечивает лучшую генерализацию на длинах последовательностей, не встречавшихся во время обучения.

← Назад