Quantificação

Quantificação 8-bit

Técnica de compressão que reduz os pesos do modelo de 32 bits para 8 bits, oferecendo um compromisso ideal entre desempenho e precisão para LLMs.

← Voltar