通信优化

通信与计算重叠

一种优化策略，通过同时执行本地计算和节点间数据传输来隐藏网络延迟。对于在网络通信阶段保持GPU处于活动状态至关重要。

← 返回