कुशल ट्रांसफॉर्मर्स
Linear Transformer
आर्किटेक्चर जो अटेंशन के कर्नेलाइज्ड डिकम्पोजिशन का उपयोग करके सीक्वेंस और मेमोरी में रैखिक जटिलता प्राप्त करती है। लीनियर ट्रांसफॉर्मर सॉफ्टमैक्स को पॉजिटिव कर्नेल फंक्शन से बदलता है ताकि एसोसिएटिव रिऑर्डरिंग की अनुमति मिल सके।
← पीछे