Positional Encoding

Positional Bias

Terme additif ou multiplicatif appliqué aux scores d'attention pour tenir compte des relations de position entre les tokens dans les mécanismes d'attention.

← Quay lại