Static Quantization

Représentation INT4

Format de quantification extrême utilisant des entiers 4-bit (-8 à 7), réduisant significativement la taille du modèle mais introduisant une perte de précision notable nécessitant des techniques de compensation spécialisées.

← Geri