Codificación Posicional

Codificación Alibi (Atención con Sesgos Lineales)

Método de codificación posicional que penaliza la atención según la distancia entre los tokens, permitiendo una mejor extrapolación a secuencias más largas.

← Volver