人工智能完整詞典
在预训练模型层之间插入的轻量级神经模块，用于适应新任务。这些额外的层是微调过程中唯一被训练的部分，从而保留模型的原始知识。
一种适应策略，微调从模型的顶层开始，然后逐步向底层推进。这种方法有助于保留基础表示，同时适应专门化层。
添加到预训练模型上的附加模块，用于适应特定任务，如分类或生成。该头部通常单独训练或与模型的部分微调结合进行。
在微调过程中保持模型某些层的权重不变的技术。这种方法可以保留基础知识，同时仅将上层适应新任务。