Efficient Transformers

Compressive Transformer

Extension de Transformer-XL qui compresse les mémoires cachées anciennes en vecteurs plus denses pour préserver l'historique à long terme. Cette compression permet un stockage efficace d'informations contextuelles étendues.

← 返回