Эффективные Трансформеры

Local Attention

Механизм внимания, ограниченный локальными окрестностями вокруг каждой позиции, что резко снижает количество рассматриваемых пар токенов. Этот подход особенно эффективен для данных с сильной локальной структурой.

← Назад