Modelos Autoregressivos

Cache KV

Mecanismo de otimização armazenando os estados chave-valor dos tokens anteriores para acelerar a geração autorregressiva sequencial.

← Voltar