Квантование и оптимизация

Поблочное квантование (Block-wise Quantization)

Стратегия квантования, которая разделяет тензоры весов на более мелкие блоки и применяет независимое квантование к каждому блоку, что лучше сохраняет распределение значений и уменьшает общую ошибку по сравнению с глобальным квантованием.

← Назад