Sparse Attention

Memory-based Attention

Arquitectura que utiliza una memoria comprimida externa de tamaño fijo para almacenar la información relevante de los tokens pasados, permitiendo la atención sobre secuencias arbitrariamente largas.

← Volver