Sparse Attention

कर्नेल-आधारित अटेंशन

वह दृष्टिकोण जो सॉफ्टमैक्स अटेंशन को अनुमानित करने के लिए कर्नेल का उपयोग करता है, FAVOR+ (फास्ट अटेंशन वाया पॉजिटिव ऑर्थोगोनल रैंडम फीचर्स) जैसी तकनीकों के माध्यम से रेखीय जटिलता वाली गणनाओं की अनुमति देता है।

← पीछे