AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
预训练模型
在大型通用数据语料库上预先训练好的神经网络模型，作为特定任务的起点，凭借其提取相关特征的能力发挥作用。
个术语
冻结层
一种在训练过程中禁用网络某些层权重更新的技术，从而保留预学习的知识并减少计算需求。
个术语
学习率
控制每次迭代时模型权重更新幅度的关键超参数，在微调时通常需要较小的值来保留预学习的知识。
个术语
渐进解冻
一种微调策略，其中模型的层被逐步解冻，从上层开始，逐渐向下层进行。
个术语
差异化学习率
对模型不同层应用不同学习率的方法，通常在微调时对上层使用较高的学习率，对下层使用较低的学习率。
个术语
适配器模块
插入预训练模型层之间的小型神经网络，允许适应新任务，同时保持原始权重冻结。
个术语
权重初始化
在训练前确定模型权重初始值的过程，在微调中至关重要，既要在保持预训练优势的同时，又要实现有效的适应。
🔍