低资源模型

梯度检查点

一种计算与内存的权衡技术，它在前向传播过程中省略对中间激活值的保存，并在反向传播时重新计算它们，从而以增加计算时间为代价，大幅减少了 GPU 的内存使用。

← 返回