Atenção Esparsa

Aproximação de baixo rank

Técnica que aproxima a matriz de atenção por uma decomposição de rank reduzido, reduzindo significativamente os requisitos de memória e computação.

← Voltar