AI用語集

📖

用語

PCIe Bandwidth

PCIeバス経由で転送可能な最大データ転送速度で、AIワークロードにおけるCPUとGPU間の通信速度に重要です。

📖

用語

NVMe over Fabrics

ネットワーク経由でNVMeストレージにアクセスするためのプロトコルで、AIの大規模データセットのレイテンシを削減します。

📖

用語

GPUDirect Storage

CPUとRAMをバイパスして、ストレージからGPUメモリへ直接データを転送できるNVIDIAの技術。

📖

用語

Memory Pinning

GPUによる継続的で高速なDMA（ダイレクトメモリアクセス）を確保するため、RAM内のメモリページをロックするプロセス。

📖

用語

Zero-Copy

データがCPUメモリでの中間コピーなしでデバイス間で直接転送される最適化手法。

📖

用語

Tensor Core Throughput

GPUのテンソルコアの計算能力で、多くの場合、メモリからのデータ供給速度によって制限されます。

📖

用語

Data Pipeline Parallelism

レイテンシを隠蔽するため、データのロード、前処理、転送をGPU計算と並行して実行する戦略。

📖

用語

Prefetching

GPUを稼働状態に保つため、計算が必要とする前にデータをGPUメモリに事前ロードすること。

📖

用語

ホストからデバイスへのレイテンシ

CPU（ホスト）からGPU（デバイス）へのデータ転送を開始して完了するまでの必要時間。

📖

用語

CUDAストリーム

GPU上で特定の順序で実行される操作のシーケンスで、転送と計算を並行処理できるようにする。

📖

用語

NUMA対応

マルチCPUサーバーのNUMAトポロジーを尊重してメモリ割り当てを最適化し、アクセスレイテンシを削減する。

📖

用語

GPUDirect RDMA

CPUコピーなしで、RDMA経由で異なるノードのGPUメモリ間でデータを直接転送できる技術。

📖

用語

非同期データ転送

CUDAストリームを使用してレイテンシを隠蔽しながら、GPU計算と並行して実行されるデータ転送。

📖

用語

ページロックメモリ

GPUへの非同期DMA高速転送に必要な、ページング不可能なシステムメモリ。