Авторегрессионные модели

KV-кэш

Механизм оптимизации, сохраняющий ключевые-значимые состояния предыдущих токенов для ускорения последовательной авторегрессионной генерации.

← Назад