AI 詞彙表

📖

術語

Learning without Forgetting (LwF)

一种使用知识蒸馏的方法，在保留模型对旧数据响应的同时学习新任务。原始模型作为教师来指导更新后的模型，从而避免在之前任务上的性能下降。

📖

術語

Orthogonal Gradient Descent (OGD)

一种将新任务梯度投影到与之前任务梯度子空间正交的空间的方法。该投影确保学习新任务不会干扰对过去性能重要的方向。

📖

術語

Dynamical Expandable Networks (DEN)

一种动态扩展网络的框架，在需要时添加新的单元和连接，同时选择性地重新激活或停用现有连接。DEN使模型容量适应新需求，而不降低之前的性能。

📖

術語

PackNet

一种正则化技术，通过固定二进制掩码和稀疏性约束为每个任务分配特定的神经元子网络。PackNet通过资源分区，允许在同一网络中堆叠多个任务而不产生干扰。

📖

術語

HAT (Hard Attention to the Task)

一种为每个任务学习二进制注意力掩码以选择网络活跃权重的方法，从而为每个任务创建专用路径。HAT使用正则化来鼓励不同任务使用不同的权重子集。

📖

術語

CWR (Copy Weight with Reinit)

一种在每个任务学习后复制模型权重并有选择地重新初始化某些权重以学习新任务的策略。CWR在保留重要权重副本的同时，允许适应新知识。

📖

術語

PathNet

一种进化架构，其中神经元路径被选择和优化用于特定任务，使用遗传算法找到最佳组合。PathNet允许模块重用，同时按任务隔离参数。

📖

術語

Sup-Sup (Superposition of Superpositions)

一种结合权重叠加（superposition）与任务叠加（多任务）的技术，以最大化网络参数的利用。Sup-Sup使紧凑网络能够同时存储和执行多个任务而不会遗忘。