Внимание с фиксированным шаблоном

Схема разреженного внимания, в которой связи между токенами следуют заранее определенному фиксированному шаблону, например, диагональным полосам или зигзагу. Упрощает реализацию и гарантирует предсказуемую сложность, позволяя при этом захватывать определенные пространственные структуры.

← Назад