AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
蒸馏温度
在softmax函数中应用的超温参数，用于控制教师模型概率的软化，使学生模型能够学习超出最可能预测的类别间关系。
个术语
逐层蒸馏
一种蒸馏技术，其中教师模型的每一层的中间表示被传输到学生模型的对应层，确保在所有抽象级别上逐步学习特征。
个术语
对比蒸馏
使用对比对来提高蒸馏质量的技术，其中学生模型同时学习模仿教师模型并区分负样本。
个术语
跨架构蒸馏
在不同架构模型之间进行知识转移的方法，如将transformer蒸馏到CNN或RNN架构，允许在目标部署中具有灵活性。
个术语
知识剪枝
参数剪枝和蒸馏相结合的过程，其中最不重要的权重从模型中删除，然后蒸馏补偿由剪枝导致的性能损失。
个术语
动态蒸馏
一种自适应方法，其中蒸馏强度和目标选择在训练过程中根据学生模型的进展和样本难度进行动态调整。
个术语
零样本蒸馏
一种允许在没有显式标记的训练数据的情况下蒸馏教师模型的技术，使用隐含知识或由教师模型生成的合成数据。
个术语
关系感知蒸馏
一种高级方法，其中学生模型不仅学习教师模型的单个预测，还学习数据不同部分之间的结构关系，捕获复杂的依赖关系。
个术语
压缩感知蒸馏
将压缩的硬件约束（量化、稀疏化）直接集成到蒸馏过程中，以优化最终模型压缩后性能的策略。
🔍