AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
教师模型
大型预训练神经网络，作为知识来源，其概率输出用于指导学生模型的学习。
个术语
学生模型
经过优化的紧凑模型架构，旨在复现教师模型的行为，在保持性能的同时降低计算复杂度。
个术语
代理任务
人为设计的预文本任务，从未标注数据生成监督学习信号，作为自监督学习的中间目标。
个术语
蒸馏损失
衡量教师模型与学生模型概率分布之间差异的目标函数，通常使用KL散度实现。
个术语
Softmax温度
应用于Softmax函数的缩放参数，用于软化概率分布，从而揭示教师模型学到的类别间关系。
个术语
分布对齐
旨在最小化教师模型与学生模型在特征空间或预测空间中的概率分布差距的技术。
个术语
预文本任务
自监督的次要任务，旨在迫使模型学习有用的表征，如预测被掩码的部分或重建损坏的输入。
🔍