AI 詞彙表
人工智能完整詞典
注意力机制
允许模型在处理过程中权衡输入不同部分的重要性。
自注意力
一种让序列中每个元素都关注到同一序列中所有其他元素的机制。
多头注意力
自注意力的扩展，使用多个注意力头并行运行以捕获不同类型的关系。
位置编码
将位置信息整合到嵌入中而不使用RNN的技术。
编码器-解码器架构
Transformer 的基本结构，包含用于理解的编码器和用于生成的解码器。
缩放点积注意力
Transformer中注意力计算的基本数学形式，包含缩放。
前馈网络
在 Transformer 中，每个注意力层之后应用的全连接网络。
层归一化
在Transformer中应用的归一化技术，用于稳定训练过程。
注意力掩码
控制哪些token可以关注其他token的机制。
视觉变换器 (ViT)
将 Transformer 架构应用于图像处理，方法是将图像分割成小块。
BERT Architecture
Transformer encoder-only pré-entraîné avec objectives de masked language modeling.
GPT 架构
为自回归文本生成而优化的仅解码器 Transformer。
交叉注意力
在编码器-解码器中两个不同序列之间的注意力机制。
稀疏注意力
注意力的一种变体，通过只计算选择性配对来降低复杂度。
分层注意力
应用于不同粒度级别的注意力多层架构。
注意力可视化
解释和可视化Transformer注意力权重的技术。
Transformer Optimization
Méthodes spécifiques pour l'entraînement efficace des grands modèles Transformers.
Multi-Modal Transformers
Architecture Transformer étendue pour traiter simultanément plusieurs types de données.
Efficient Transformers
Variantes optimisées des Transformers pour réduire la complexité computationnelle.
Attention Mechanisms Variants
Différentes approches et améliorations du mécanisme d'attention au-delà du dot-product.