Cuantificación

LLM.int8()

Método específico de cuantificación de 8 bits para grandes modelos de lenguaje, que combina descomposición matricial y cuantificación híbrida.

← Volver