Sparse Attention

परफॉर्मर

वह मॉडल जो FAVOR+ अटेंशन पर आधारित है जो पॉजिटिव ऑर्थोगोनल रैंडम फीचर्स के माध्यम से सॉफ्टमैक्स अटेंशन को कुशलतापूर्वक अनुमानित करता है, रेखीय जटिलता की अनुमति देता है।

← पीछे