Positional Encoding

Positional Interpolation

Technique pour adapter les modèles pré-entraînés à des séquences plus longues en interpolant linéairement les embeddings positionnels existants plutôt que d'en extrapoler de nouveaux.

← Indietro