Atención Dispersa

Atención basada en núcleos

Enfoque que utiliza núcleos para aproximar la atención softmax, permitiendo cálculos en complejidad lineal a través de técnicas como FAVOR+ (Fast Attention Via Positive Orthogonal Random Features).

← Volver