Modelos Autoregresivos

Caché KV

Mecanismo de optimización que almacena los estados clave-valor de los tokens anteriores para acelerar la generación autorregresiva secuencial.

← Volver