稀疏注意力

分块注意力

将序列分割成块，并以顺序或分层方式计算块内和块间注意力的方法。允许通过在块之间而非单个token之间交换信息来处理非常长的序列。

← 返回