AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
低秩矩阵
一种数学表示，其中矩阵被表示为两个较小低秩矩阵的乘积。这种分解能够在捕获变换本质信息的同时减少所需参数的数量。
个术语
内存效率
在AI模型训练和推理过程中优化RAM和VRAM的使用。像LoRA这样的技术通过限制修改的参数数量来大幅降低内存消耗。
个术语
可训练参数
神经网络权重中在学习过程中实际被修改的子集。在LoRA中，只有总参数的一小部分（通常为0.1-1%）是可训练的。
个术语
秩分解
将权重矩阵W分解为W + BA的代数技术，其中B和A是低秩矩阵。这种分解构成了LoRA适应的数学基础。
个术语
高效微调
旨在最小化所需计算资源和内存的预训练模型适应范式。像LoRA、适配器或前缀调优等方法可以在不修改所有参数的情况下专业化模型。
个术语
PEFT（参数高效微调）
一类模型适应技术，旨在微调时修改最少数量的参数。LoRA是PEFT中最流行的方法之一，与适配器、前缀调优和软提示并列。
个术语
Alpha缩放因子
LoRA中控制应用于原始权重的适应幅度的关键超参数。这个缩放因子调整低秩矩阵相对于预训练权重的相对影响。
个术语
多LoRA
允许将多个专门的LoRA适应同时应用于同一基础模型的架构。这种方法便于在不同任务或专业领域之间快速切换，无需完全重新加载模型。
个术语
零样本适应
使用LoRA适配的模型能够泛化到适配训练期间未见过的任务或领域的能力。这一特性源于在保留基础模型通用知识的同时添加了针对性专业化。
个术语
LoRA秩超参数
决定LoRA分解中低秩矩阵维度的参数，控制表达能力与效率之间的权衡。根据适配任务的复杂性，典型秩值范围从4到64不等。
个术语
权重合并
将LoRA适配集成到基础模型权重中以消除推理期间计算开销的过程。这种融合能够恢复出与适配版本性能相同的标准模型。
🔍