कुशल ट्रांसफॉर्मर्स

Sparse Transformer

वेरिएंट जो पूर्वानुमानित स्पार्स अटेंशन पैटर्न का उपयोग करता है ताकि कम्प्यूटेशनल कनेक्शन को कम किया जा सके और साथ ही लंबी दूरी की निर्भरताओं को कैप्चर किया जा सके। आर्किटेक्चर अटेंशन को उप-समूहों में विभाजित करती है ताकि प्रोसेसिंग को ऑप्टिमाइज़ किया जा सके।

← पीछे