人工智能完整詞典
多头注意力机制的最终步骤，将所有头的输出拼接后进行线性投影，以恢复模型维度，从而融合来自不同子空间的信息。
解码器中使用的自注意力类型，应用掩码注意力以防止某个标记关注未来的标记，确保模型的自回归特性。
每个注意力头中键和值向量的维度，通过将模型维度除以头数计算得出，影响每个头的表示能力。
一类注意力机制，重写注意力计算以避免生成完整的注意力矩阵，实现相对于序列长度的线性复杂度。