Transformers Eficientes

Synthesizer

Variante onde os pesos de atenção são aprendidos diretamente dos embeddings de posição ou gerados por pequenas redes, sem depender do conteúdo dos tokens. Esta abordagem elimina a necessidade de cálculos de similaridade QK.

← Voltar