Codificación Posicional

Codificación Posicional Alibi

Método que penaliza los puntajes de atención según la distancia entre los tokens, permitiendo una extrapolación eficiente a longitudes de secuencia más largas sin reentrenamiento.

← Volver