Post-Training Quantization

Mixed Precision Quantization

Stratégie hybride appliquant différents niveaux de précision (8-bit, 4-bit, 2-bit) aux différentes couches du modèle selon leur sensibilité à la quantification.

← Terug