AI 詞彙表
人工智能完整詞典
Mécanisme d'Attention
Concept fondamental permettant aux modèles de pondérer dynamiquement l'importance des différentes parties d'une séquence.
Transformer架构
一种革命性的神经网络结构，完全基于注意力机制，不使用循环网络。
多头注意力
注意力机制的扩展，允许同时关注不同位置的不同表示。
位置编码
在序列中编码位置信息的技术，以补偿递归的缺失。
BERT
Modèle Transformer bidirectionnel pré-entraîné pour la compréhension du langage naturel.
GPT
Série de modèles Transformer autoregressifs optimisés pour la génération de texte et le transfert d'apprentissage.
Vision Transformers
Adaptation de l'architecture Transformer pour les tâches de vision par ordinateur en traitant les images comme des séquences.
缩放点积注意力
注意力机制的高效数学实现，使用维度平方根进行归一化。
层次化Transformer
用于处理具有层次关系的结构化数据的多尺度Transformer架构
高效Transformer
优化后的Transformer变体，将计算复杂度从二次方降低到线性。
音频Transformer
将Transformer架构应用于音频信号处理，用于语音识别和音乐生成。
多模态Transformer
同时整合文本、图像、音频和视频等多种模态的Transformer模型。
自注意力
一种允许序列中的每个元素与同一序列中的所有其他元素相互作用的机制
交叉注意力
用于在不同序列之间进行注意力交互的机制，对于翻译任务和多模态任务至关重要。
稀疏注意力
选择性计算权重以降低计算复杂度的注意力变体。