稀疏注意力

固定模式注意力

稀疏注意力模式，其中token之间的连接遵循预定的固定模式，如对角带状或锯齿状模式。简化实现并确保可预测的复杂度，同时捕获某些空间结构。

← 返回