AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
Linformers
使用投影键和值到约简维度 k << n 的线性复杂度 Transformer 架构，能够高效处理非常长的序列。
術語
Performers
使用 FAVOR+ 注意力（通过正交随机特征的快速注意力）来近似 softmax 注意力并保持数学特性的线性复杂度模型。
術語
Sinkhorn Attention
使用 Sinkhorn-Knopp 算法计算双随机注意力矩阵的注意力近似方法，复杂度降低，适用于非常长的序列。
術語
Low-Rank Attention
将完整注意力矩阵分解为低秩矩阵乘积的方法，将参数数量和计算复杂度从 O(n²) 降低到 O(nr)。
術語
Memory-based Attention
使用固定大小的压缩外部存储器来存储过去标记相关信息的架构，允许对任意长度的序列进行注意力处理。
術語
Sparse Factorized Attention
将完整注意力分解为多个稀疏矩阵（通常是局部和全局）的乘积，实现可控的近似和准线性复杂度。
🔍