एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
अपाचे स्पार्क
बिग डेटा विश्लेषण को तेज करने के लिए इन-मेमोरी वितरित प्रसंस्करण के लिए डिज़ाइन किया गया ओपन-सोर्स फ्रेमवर्क जो अनुकूलित समानांतर निष्पादन प्रदान करता है।
आरडीडी (लचीला वितरित डेटासेट)
स्पार्क की मौलिक डेटा संरचना, जो अपरिवर्तनीय और विभाजित है, और खोए हुए डेटा के पुनर्निर्माण द्वारा फॉल्ट टॉलरेंस प्रदान करती है।
डेटाफ्रेम
नामित कॉलम में व्यवस्थित वितरित डेटा का संग्रह, जो डेटाबेस टेबल के समान है और संरचित क्वेरीज़ के लिए अनुकूलित है।
स्पार्क एसक्यूएल
स्पार्क मॉड्यूल जो एसक्यूएल क्वेरीज़ और डेटाफ्रेम ऑपरेशन्स को कैटलिस्ट ऑप्टिमाइज़र के माध्यम से स्वचालित अनुकूलन के साथ एकीकृत करता है।
स्पार्क स्ट्रीमिंग
स्पार्क एक्सटेंशन जो नियर-रियल-टाइम लेटेंसी के लिए माइक्रो-बैचेज़ के साथ रीयल-टाइम डेटा स्ट्रीम प्रसंस्करण की अनुमति देता है।
एमएललिब
स्पार्क की वितरित मशीन लर्निंग लाइब्रेरी जो वर्गीकरण, प्रतिगमन, क्लस्टरिंग और अनुशंसा एल्गोरिदम प्रदान करती है।
ग्राफएक्स
वितरित ग्राफ प्रसंस्करण के लिए स्पार्क एपीआई, जो ग्राफ के लाभों को आरडीडी के प्रदर्शन के साथ जोड़ती है।
डीएजी (निर्देशित एसाइक्लिक ग्राफ)
स्पार्क ट्रांसफॉर्मेशन के निष्पादन योजना का प्रतिनिधित्व, जो अतिरेक को खत्म करने और प्रसंस्करण को समानांतर बनाने के लिए अनुकूलित है।
स्पार्क ड्राइवर
स्पार्क कार्यों के निष्पादन को समन्वयित करने वाली मुख्य प्रक्रिया, जो स्पार्क संदर्भ बनाती है और संचालनों को चरणों में विभाजित करती है।
स्पार्क एक्जीक्यूटर
क्लस्टर के प्रत्येक नोड पर ड्राइवर द्वारा सौंपे गए कार्यों को निष्पादित करने वाली कार्यकर्ता प्रक्रिया, जो मेमोरी और विभाजित डेटा का प्रबंधन करती है।
स्पार्क संदर्भ
स्पार्क एप्लिकेशन का मुख्य प्रवेश बिंदु, जो क्लस्टर से कनेक्शन और वितरित संसाधनों तक पहुंच का समन्वय करता है।
पार्टीशन
स्पार्क में डेटा वितरण की तार्किक इकाई, जो RDD/DataFrames को स्वतंत्र खंडों में विभाजित करके समानांतरता को सक्षम करती है।
शफल
पार्टीशन के बीच डेटा के पुनर्वितरण की महंगी संचालन, जो स्पार्क में समुच्चय, जोड़ या समूहीकरण के दौरान आवश्यक होती है।
कैटलिस्ट ऑप्टिमाइज़र
स्पार्क क्वेरी ऑप्टिमाइज़ेशन इंजन जो प्रदर्शन में सुधार के लिए निष्पादन योजनाओं को रूपांतरित और पुनर्व्यवस्थित करता है।
टंगस्टन
स्पार्क निष्पादन बैकएंड जो बाइनरी डेटा प्रबंधन और बाइटकोड कोड जनरेशन के माध्यम से मेमोरी और CPU को अनुकूलित करता है।
कैश/पर्सिस्ट
RDD/DataFrames को मेमोरी या डिस्क में संग्रहीत करने की तंत्र, त्वरित पुन:उपयोग और महंगी पुनर्गणना से बचने के लिए।
ब्रॉडकास्ट वेरिएबल
जॉइन के दौरान नेटवर्क ट्रांसफर को कम करने के लिए सभी एक्सीक्यूटर्स को कुशलतापूर्वक वितरित रीड-ओनली वेरिएबल
एक्यूमुलेटर
समानांतर कार्यों से जानकारी को थ्रेड-सेफ तरीके से एकत्रित करने के लिए उपयोग की जाने वाली एडिटिव शेयर्ड वेरिएबल
ट्रांसफॉर्मेशन
तत्काल निष्पादन के बिना नया RDD/DataFrame बनाने वाली आलसी ऑपरेशन, ट्रिगर एक्शन तक विलंबित
एक्शन
परिणाम उत्पन्न करने के लिए DAG प्लान के निष्पादन को ट्रिगर करने वाली ऑपरेशन, सभी पिछले ट्रांसफॉर्मेशन की गणना को मजबूर करती है