Квантизация

8-битная квантизация

Техника сжатия, уменьшающая веса модели с 32 бит до 8 бит, обеспечивающая оптимальный компромисс между производительностью и точностью для LLM.

← Назад