Внимание с шагом

Вариант разреженного внимания, в котором токены обращаются к другим токенам через регулярные интервалы (шаги), что позволяет захватывать зависимости на различных временных или пространственных масштабах. Эффективно объединяет локальную и глобальную информацию с контролируемой сложностью.

← Назад