Modèles Autorégressifs

Cache KV

Mécanisme d'optimisation stockant les états clés-valeurs des tokens précédents pour accélérer la génération autorégressive séquentielle.

← Retour