Разреженное внимание

Clustering-based Attention

Метод, который сначала группирует токены в похожие кластеры, а затем применяет внимание на уровне кластеров, что уменьшает количество требуемых вычислений.

← Назад