एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
वेक्टर एम्बेडिंग
बहुआयामी वेक्टर स्थान में किसी पाठ्य या दृश्य वस्तु का सघन संख्यात्मक प्रतिनिधित्व, जो इसकी मौलिक अर्थपूर्ण विशेषताओं को पकड़ता है। ये एम्बेडिंग मशीनों को डेटा के अर्थ को मात्रात्मक रूप से समझने और तुलना करने में सक्षम बनाते हैं।
वेक्टर डेटाबेस
उच्च-आयामी वेक्टर प्रतिनिधित्व को कुशलतापूर्वक संग्रहीत करने, अनुक्रमित करने और प्रश्न करने के लिए अनुकूलित विशेष डेटाबेस। यह समानता खोजों को तेज करने के लिए HNSW या IVF जैसी उन्नत अनुक्रमण संरचनाओं का उपयोग करता है।
सिमेंटिक सर्च
खोज की एक विधि जो केवल सटीक कीवर्ड मिलान पर निर्भर होने के बजाय क्वेरी के पीछे के इरादे और अर्थपूर्ण संदर्भ को समझती है। यह एम्बेडिंग का उपयोग करके वैचारिक रूप से समान दस्तावेजों को खोजती है, भले ही शब्दावली साझा न हो।
डायमेंशनैलिटी रिडक्शन
एल्गोरिदम प्रक्रिया जो महत्वपूर्ण अर्थपूर्ण संबंधों को संरक्षित करते हुए एम्बेडिंग में आयामों की संख्या को कम करती है। PCA या t-SNE जैसी तकनीकें भंडारण को अनुकूलित करने और समानता गणनाओं को तेज करने में सक्षम बनाती हैं।
वेक्टर इंडेक्स
अनुकूलित डेटा संरचना जो व्यापक तुलना के बिना तेज निकटतम पड़ोसी खोजों को सक्षम करने के लिए वैक्टर को व्यवस्थित करती है। HNSW, IVF या LSH जैसे इंडेक्स क्वेरी की समय जटिलता को काफी कम करते हैं।
वेक्टर नॉर्मलाइजेशन
वैक्टर को इकाई मानक के लिए स्केल करने की प्रक्रिया, जिससे कोसाइन समानता तुलनाओं को मानकीकृत किया जाता है। यह तकनीक वैक्टर के परिमाण से संबंधित पूर्वाग्रहों को समाप्त करती है और केवल उनकी अर्थपूर्ण दिशा पर केंद्रित होती है।
एम्बेडिंग मॉडल
पूर्व-प्रशिक्षित तंत्रिका नेटवर्क जो पाठ या अन्य डेटा को सघन वेक्टर प्रतिनिधित्व में परिवर्तित करता है। BERT, Sentence-BERT या OpenAI embeddings जैसे मॉडल अपनी वास्तुकला के अनुसार विभिन्न अर्थपूर्ण बारीकियों को पकड़ते हैं।
HNSW (हायरार्किकल नेविगेबल स्मॉल वर्ल्ड)
ग्राफ अनुक्रमण संरचना जो निकटतम पड़ोसी खोज को तेज करने के लिए कनेक्शनों की कई परतें बनाती है। यह निर्माण की गति, मेमोरी दक्षता और खोज की गुणवत्ता के बीच उत्कृष्ट समझौता प्रदान करती है।
IVF (इनवर्टेड फ़ाइल इंडेक्स)
एक इंडेक्सिंग तकनीक जो वेक्टर स्पेस को क्षेत्रों (इनवर्टेड लिस्ट) में विभाजित करती है ताकि खोज को केवल प्रासंगिक क्षेत्रों तक सीमित किया जा सके। यह ANN खोजों में सटीकता और प्रदर्शन को संतुलित करने के लिए कोर्स और फाइन क्वांटाइज़र को जोड़ती है।
डिस्टेंस मेट्रिक्स
गणितीय फ़ंक्शन जो एम्बेडिंग स्पेस में दो वेक्टरों के बीच की असमानता को मापते हैं। सामान्य मेट्रिक्स में यूक्लिडियन डिस्टेंस, कोसाइन सिमिलैरिटी और मैनहट्टन डिस्टेंस शामिल हैं, जिनमें से प्रत्येक अलग-अलग उपयोग के मामलों के लिए अनुकूल है।
वेक्टर स्टोर
RAG आर्किटेक्चर का एक घटक जो दस्तावेज़ एम्बेडिंग के भंडारण और कुशल पुनर्प्राप्ति के लिए जिम्मेदार है। यह संवर्धित जनरेशन सिस्टम को शक्ति प्रदान करने के लिए वेक्टर के दृढ़ता, इंडेक्सिंग और क्वेरी का प्रबंधन करता है।
डेंस रिट्रीवल
सूचना पुनर्प्राप्ति की एक विधि जो दस्तावेज़ों और क्वेरीज़ के बीच गहरे शब्दार्थ संबंधों को पकड़ने के लिए डेंस एम्बेडिंग का उपयोग करती है। यह संदर्भ और इरादे को समझने में TF-IDF जैसी स्पार्स विधियों से बेहतर प्रदर्शन करती है।
एम्बेडिंग कैश
कैशिंग सिस्टम जो अतिरिक्त गणनाओं से बचने और प्रतिक्रिया को तेज़ करने के लिए पूर्व-गणना किए गए एम्बेडिंग को संग्रहीत करता है। यह आवर्ती या समान क्वेरीज़ को संसाधित करने वाले RAG सिस्टम के प्रदर्शन के लिए महत्वपूर्ण है।
चंक एम्बेडिंग
पूरे दस्तावेज़ों के बजाय दस्तावेज़ों के खंडों के लिए एम्बेडिंग बनाने की प्रक्रिया, जो अधिक सूक्ष्म और सटीक पुनर्प्राप्ति की अनुमति देती है। चंक का इष्टतम आकार डोमेन और संदर्भ आवश्यकताओं पर निर्भर करता है।
वेक्टर मेटाडेटा
प्रत्येक वेक्टर से जुड़ी जानकारी जिसमें स्रोत दस्तावेज़ आईडी, टाइमस्टैम्प, प्रासंगिकता स्कोर या अन्य फ़िल्टर करने योग्य विशेषताएं शामिल हैं। मेटाडेटा खोज परिणामों के सटीक परिशोधन की अनुमति देता है।