Quantificação

LLM.int8()

Método específico de quantização de 8 bits para grandes modelos de linguagem, combinando decomposição matricial e quantização híbrida.

← Voltar