Codificación Posicional

ALiBi (Attention with Linear Biases)

Alternative au positional encoding utilisant des biais linéaires directement dans les scores d'attention pour représenter les distances entre tokens.

← Volver