AI用語集
人工知能の完全辞典
メモリコアレッシング
GPUにおける最適化技術の一種で、スレッドによる連続したメモリアクセスを単一のトランザクションにまとめることで、メモリ帯域幅を削減しスループットを向上させる。
キャッシュブロッキング
キャッシュに適したサイズのブロックにデータを分割する戦略。局所的なデータの再利用を最大化し、キャッシュミスを最小化することを目的とする。
NUMA対応アロケーション
Non-Uniform Memory Access (NUMA) アーキテクチャを考慮したメモリ割り当て。データを頻繁に使用するコアの近くに配置することで、アクセス遅延を削減する。
メモリプーリング
再利用可能なオブジェクトに細分化された大きなメモリブロックを事前に確保する手法。頻繁な動的確保と解放によるオーバーヘッドを排除する。
ゼロコピーオプティマイゼーション
メモリ空間間での中間コピーなしで、操作がデータに直接アクセスできるようにする技術。CPU消費量と帯域幅を削減する。
レジスタタイリング
プロセッサのレジスタを使用してデータタイルを一時的に格納する手法。より低速な階層メモリへのアクセスを最小限に抑える。
プリフェッチ命令
データが実際に使用される前に、事前にキャッシュにロードするための特別な命令。計算とアクセスを重複させることで、メモリ遅延を隠蔽する。
メモリフットプリントの削減
AIモデルのメモリサイズを、性能の大幅な劣化なしに削減することを目的とする一連の技術（量子化、プルーニング、圧縮など）。
共有メモリ活用
GPUの共有メモリを同一ブロック内のスレッド間で高速かつ再利用可能なデータ空間として最適化すること。
メモリ帯域幅飽和
メモリアクセス要求がメモリバスの容量を超え、計算パフォーマンスの主なボトルネックとなる状態。
ページマイグレーション
アクセスパターンに基づいてNUMAノード間でメモリページを動的に移動し、データの局所性を最適化すること。
メモリ意識スケジューリング
メモリ制約とアクセスパターンを考慮してタスクをスケジューリングし、競合を最小限に抑え、並列性を最大限に高めること。
キャッシュを意識しないアルゴリズム
キャッシュサイズの特定パラメータを必要とせず、あらゆるキャッシュ階層で効率的に動作するように設計されたアルゴリズム。
メモリ階層最適化
アクセス頻度と時間的クリティカル性に基づいて、データをメモリ階層の各レベルに配置する全体的な戦略。
テンソルコアメモリレイアウト
NVIDIAのTensor Coreでの行列演算の効率を最大化するために、メモリ内のテンソルを特定の方法で配置すること。
メモリアクセスの分岐
GPUのワープ内のスレッドが連続しないメモリアドレスにアクセスする現象で、アクセスのシリアル化によりパフォーマンスが低下する。
HBM (High Bandwidth Memory) 統合
3Dスタックメモリアーキテクチャ。アクセスパターンを最適化し、AIの高負荷ワークロード向けに高い帯域幅を提供します。
メモリマップドI/O最適化
AIパイプラインにおけるCPUのオーバーヘッドとコピーを削減する、周辺機器がシステムメモリに直接アクセスする技術。