Positional Encoding

Positional Interpolation

Technique d'extrapolation permettant d'étendre les modèles pré-entraînés à des contextes plus longs en interpolant les encodages positionnels existants plutôt que d'en apprendre de nouveaux, préservant ainsi les connaissances acquises.

← Back