量子化と最適化

投機的推論 (Speculative Inference)

小さな「ドラフト」モデルが複数のトークンを迅速に提案し、それらをターゲットとなる大規模モデルで並列に検証する生成推論の高速化技術。計算コストの高いステップの総数を削減する。

← 戻る