Codificação Posicional

Codificação Posicional BERT

Implementação específica utilizada nos modelos BERT, baseada em embeddings de posição aprendidos com um tamanho máximo de 512, adicionados diretamente aos embeddings de tokens antes das camadas do transformador.

← Voltar