स्व-पर्यवेक्षित स्थानांतरण

प्रोजेक्शन हेड

मुख्य एनकोडर के बाद लागू किया गया अतिरिक्त न्यूरल नेटवर्क जो प्रतिनिधित्वों को उस स्पेस में मैप करने के लिए होता है जहां कंट्रास्टिव लॉस की गणना की जाती है। डाउनस्ट्रीम टास्क में ट्रांसफर करते समय इस हेड को आमतौर पर हटा दिया जाता है।

← पीछे