Atenção Esparsa

Performer

Modelo baseado na atenção FAVOR+ que aproxima eficientemente a atenção softmax através de características aleatórias ortogonais positivas, permitindo complexidade linear.

← Voltar