GPT e Modelos Autorregressivos

Cache KV (Cache Chave-Valor)

Otimização computacional que armazena as chaves e valores dos tokens anteriores para evitar recalcular os estados de atenção durante a geração autorregressiva sequencial.

← Voltar