Cuantificación

Cuantificación de 8 bits

Técnica de compresión que reduce los pesos del modelo de 32 bits a 8 bits, ofreciendo un compromiso óptimo entre rendimiento y precisión para los LLM.

← Volver