कुशल ट्रांसफॉर्मर्स

Local Attention

अटेंशन मैकेनिज्म जो प्रत्येक स्थान के आसपास के स्थानीय पड़ोस तक सीमित है, जिससे विचार करने के लिए टोकन जोड़ों की संख्या में नाटकीय रूप से कमी आती है। यह अप्रोच मजबूत स्थानीय संरचना वाले डेटा के लिए विशेष रूप से प्रभावी है।

← पीछे