リアルタイム推論

投機的デコーディング

より高速な小さなモデルが複数のトークンを先に予測し、次に大きなモデルがそれらを並列で検証することで生成ステップ数を削減する高速化技術。

← 戻る