पोजिशनल एनकोडिंग

Rotary Positional Encoding (RoPE)

एक अभिनव तकनीक जो क्वेरी और कुंजी एम्बेडिंग पर एक घूर्णी मैट्रिक्स लागू करती है, स्थिति की जानकारी को प्रभावी ढंग से सीधे अटेंशन मैकेनिज्म में एकीकृत करती है।

← पीछे