人工智能完整詞典
使用Sinkhorn-Knopp算法构建双随机注意力矩阵的架构,具有准线性复杂度,提高数值稳定性。
通过池化操作压缩键和值后再计算注意力的方法,减小注意力矩阵尺寸,从而降低计算复杂度。