Codificação Posicional

Codificação Posicional GPT

Sistema de codificação posicional utilizado nos modelos GPT, inicialmente baseado em embeddings aprendidos e depois evoluído para variantes mais sofisticadas como RoPE em versões mais recentes para uma melhor extrapolação.

← Voltar