AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
ALBERT
BERT的轻量版本，通过嵌入共享和层矩阵分解显著减少参数。保持竞争力性能，同时在内存方面更高效。
術語
ELECTRA
高效的预训练架构，用损坏令牌替换替换掩码语言建模。使用识别被替换令牌的判别器，实现更快更好的训练。
術語
ERNIE
中文模型，在基础Transformer架构中集成结构化和层次化知识。同时掩码词、实体和短语以捕获多层次语义。
術語
BART
双向和自回归Transformer架构，结合BERT和GPT的优势。使用编码器-解码器和文本损坏进行预训练，非常适合生成任务。
術語
Funnel Transformers
分层架构，通过各层逐步减少序列长度，同时保留重要信息。为长序列显著节省计算内存。
術語
DeBERTa
BERT的改进版，集成改进解码与分解的内容和位置注意力。使用解缠注意力机制和改进的大小掩码以获得更好的性能。
術語
TinyBERT
BERT的超紧凑版本，将参数减少高达7.5倍，同时保持高性能。应用双向蒸馏和多层次注意力进行压缩。
術語
CamemBERT
BERT的法语版本，在138GB法语文本上预训练。保持原始BERT架构，但专用于法语理解和处理。
術語
FlauBERT
基于Transformer的法语语言模型，采用渐进式预训练方式，使用越来越大的语料库。集成了法语的语言特性以获得最佳性能。
術語
XLM-RoBERTa
RoBERTa的多语言版本，在100种语言上进行预训练，使用大规模的Common Crawl数据集。通过改进的预训练和更好的低资源语言处理能力，超越了XLM和mBERT。
術語
Sentence-BERT
BERT的修改版本，针对将完整句子编码为语义向量进行了优化。使用孪生网络和三元组网络来产生适用于语义相似度的嵌入表示。
術語
VideoBERT
BERT的多模态扩展，学习视频-文本的联合表示。在视觉和语言标记上进行预训练以实现视频理解。
術語
Controlled BERT
BERT的变体，允许在文本生成过程中控制风格属性。在架构中集成控制器以调制所需的语言特征。
🔍