AI 詞彙表

📖

術語

梯度量化

一种压缩方法，在传输前降低梯度的数值精度（例如从32位降至8位），以最小化交换的数据量。通常需要补偿技术来维持训练的稳定性。

📖

術語

稀疏化

在传输前移除被认为不重要（接近零）的梯度值，从而大幅减少通信量。通常与局部累积技术结合使用，以保留重要信息。

📖

術語

Top-k稀疏化

一种稀疏化变体，仅保留幅度最大的k个梯度值，保证固定的压缩率。需要额外的同步机制来维持节点间的一致性。

📖

術語

通信与计算重叠

一种优化策略，通过同时执行本地计算和节点间数据传输来隐藏网络延迟。对于在网络通信阶段保持GPU处于活动状态至关重要。

📖

術語

通信后端

管理分布式框架中网络通信的抽象层，允许在不同实现（MPI、NCCL、Gloo）之间切换。直接影响分布式系统的性能。

📖

術語

带宽优化

旨在最大限度地利用可用网络带宽的一系列技术（压缩、聚合、排序）。对于通信成为瓶颈的高可扩展性系统至关重要。

📖

術語

延迟隐藏

旨在通过有用的计算或提前数据传输来隐藏网络等待时间的策略。对于在面对不可压缩的网络延迟时保持分布式系统的效率至关重要。