Sparse Attention

लिनफॉर्मर

वह आर्किटेक्चर जो की-वैल्यू मैट्रिक्स को निम्न आयामी स्थान में प्रोजेक्ट करता है, जटिलता को O(n²) से O(n*k) में बदलता है जहाँ k << n।

← पीछे