AI 詞彙表

📖

術語

分布式机器学习

一种计算范式，其中机器学习模型的训练被分配到多个计算节点上，以处理海量数据并缩短训练时间。

📖

術語

参数服务器

一种分布式架构，其中模型参数集中在专用服务器上，而工作节点则在本地计算梯度。

📖

術語

数据并行

一种技术，其中数据被划分到不同的计算器之间，这些计算器在不同的数据子集上并行执行相同的模型。

📖

術語

模型并行

一种方法，其中单个模型被划分到多台机器上，每个部分处理神经网络或算法的特定部分。

📖

術語

分布式梯度下降

梯度下降的一种变体，其中梯度计算分布在多个节点上，然后进行聚合以更新模型权重。

📖

術語

分片

一种数据水平分区技术，其中数据集被分成碎片并分布在不同的节点上，以实现高效的并行处理。

📖

術語

同步训练

一种分布式训练方法，其中所有工作节点在每个步骤都同步其梯度，确保一致性但可能造成瓶颈。

📖

術語

异步训练

一种方法，其中工作节点独立更新模型参数而无需等待其他节点，从而提高速度，但可能牺牲一致性。

📖

術語

分布式深度学习

一系列技术，用于在机器集群上训练深度神经网络，以处理海量数据集和模型。

📖

術語

Dask

一个灵活的 Python 并行计算库，它通过使用分布式任务图，将 pandas 和 NumPy 扩展到超出内存大小的数据集。

📖

術語

TensorFlow 分布式

TensorFlow 内置的策略，支持在多个 GPU 和机器上进行模型分布式训练，并自动同步变量。

📖

術語

PyTorch 分布式

PyTorch 的 DistributedDataParallel 模块，通过优化的进程间通信（如 NCCL 和 Gloo），支持高效的分布式训练。

📖

術語

Hadoop YARN

Hadoop 的 ResourceManager，它在大数据分布式计算环境中协调资源分配和应用程序管理。