Positional Encoding

GPT Positional Encoding

Système d'encodage positionnel utilisé dans les modèles GPT, initialement basé sur des embeddings appris puis évolué vers des variantes plus sophistiquées comme RoPE dans les versions plus récentes pour une meilleure extrapolation.

← Geri