Codificación Posicional

BERT Positional Encoding

Implementación específica utilizada en los modelos BERT, basada en incrustaciones de posición aprendidas de tamaño máximo de 512, añadidas directamente a las incrustaciones de tokens antes de las capas de transformador.

← Volver