Эффективные Трансформеры

Synthesizer

Вариант, в котором веса внимания изучаются напрямую из позиционных эмбеддингов или генерируются небольшими сетями, не завися от содержимого токенов. Этот подход устраняет необходимость в вычислении сходства QK.

← Назад