Transformadores Eficientes

Linear Transformer

Arquitectura que utiliza la descomposición kernelizada de la atención para alcanzar una complejidad lineal en secuencia y memoria. Linear Transformer reemplaza softmax por funciones kernel positivas para permitir el reordenamiento asociativo.

← Volver