Codificación Posicional

Codificación posicional relativa de XLNet

Mecanismo sofisticado en XLNet que modela las distancias relativas entre tokens en el cálculo de atención, permitiendo una mejor generalización en diferentes longitudes de secuencia.

← Volver