优化与可扩展性

FSDP (Fully Sharded Data Parallel)

数据并行的扩展，其中参数、梯度和优化器状态完全分散(sharded)在各个处理器上，以最大限度地减少每个GPU的内存占用。

← 返回