Codificação Posicional

Interpolação Posicional

Técnica para adaptar modelos pré-treinados a sequências mais longas, interpolando linearmente os embeddings posicionais existentes em vez de extrapolar novos.

← Voltar