एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
मैपरिड्यूस
क्लस्टर पर बड़े डेटा सेट के प्रसंस्करण के लिए एक समानांतर प्रोग्रामिंग मॉडल, जो प्रसंस्करण को दो मुख्य चरणों में विभाजित करता है: फ़िल्टर और परिवर्तन के लिए मैप, और परिणामों को समाहित करने के लिए रिड्यूस।
लैम्ब्डा आर्किटेक्चर
डेटा प्रसंस्करण की एक आर्किटेक्चर जो पूर्ण विश्लेषण के लिए बैच पाथ और रीयल-टाइम परिणामों के लिए स्पीड पाथ को जोड़ती है, जिसमें दोनों दृश्यों को मर्ज करने के लिए एक एकीकृत सेवा परत होती है।
कप्पा आर्किटेक्चर
लैम्ब्डा आर्किटेक्चर का सरलीकरण जो केवल स्ट्रीम प्रोसेसिंग पाइपलाइन का उपयोग करता है, जहां डेटा रीयल-टाइम में प्रोसेस किया जाता है और ऐतिहासिक क्वेरीज़ को इवेंट्स को दोबारा चलाकर संतुष्ट किया जाता है।
बैच प्रोसेसिंग
प्रोसेसिंग का एक तरीका जहां डेटा को पूर्वनिर्धारित अंतराल पर एकत्र और बैचों में प्रोसेस किया जाता है, लेटेंसी के बजाय थ्रूपुट के लिए अनुकूलित, जो पारंपरिक ETL विश्लेषण के लिए विशिष्ट है।
स्ट्रीम प्रोसेसिंग
डेटा के चलते समय उसका निरंतर प्रसंस्करण, जो कैप्चर और प्रोसेसिंग के बीच न्यूनतम लेटेंसी के साथ रीयल-टाइम विश्लेषण की अनुमति देता है।
वितरित फ़ाइल सिस्टम
फ़ाइल सिस्टम जो कई सर्वरों पर डेटा संग्रहीत करता है जबकि उपयोगकर्ताओं को एकल सिस्टम के रूप में दिखाई देता है, विश्वसनीयता के लिए रिप्लिकेशन और फॉल्ट टॉलरेंस सुनिश्चित करता है।
एचडीएफएस
हडूप वितरित फ़ाइल सिस्टम, एक वितरित फ़ाइल सिस्टम जो स्टैंडर्ड हार्डवेयर पर पेटाबाइट डेटा संग्रहीत करने के लिए डिज़ाइन किया गया है, ब्लॉक रिप्लिकेशन के माध्यम से उच्च फॉल्ट टॉलरेंस के साथ।
यार्न
येट अनदर रिसोर्स नेगोशिएटर, हडूप रिसोर्स मैनेजर जो डेटा प्रोसेसिंग को रिसोर्स मैनेजमेंट से अलग करता है, एक ही क्लस्टर पर कई फ्रेमवर्क चलाने की अनुमति देता है।
RDD
रेजिलिएंट डिस्ट्रिब्यूटेड डेटासेट, स्पार्क की मूलभूत डेटा संरचना जो वस्तुओं के अपरिवर्तनीय और विभाजित संग्रह का प्रतिनिधित्व करती है, जिसे स्वचालित फॉल्ट टॉलरेंस के साथ समानांतर रूप से गणना की जा सकती है।
Data Locality
वितरित कंप्यूटिंग का सिद्धांत जहां कार्यों को उन नोड्स पर निष्पादित किया जाता है जिनमें आवश्यक डेटा होता है, नेटवर्क स्थानांतरण को कम करता है और प्रदर्शन में काफी सुधार करता है।
Speculative Execution
फॉल्ट टॉलरेंस तंत्र जो धीमे कार्यों की प्रतिलिपियाँ अन्य नोड्स पर लॉन्च करता है, दोषपूर्ण या अतिभारित नोड्स के प्रभाव को कम करने के लिए पहले पूर्ण हुए परिणाम का उपयोग करता है।
DAG
डायरेक्टेड एसाइक्लिक ग्राफ, स्पार्क वर्कफ्लो का प्रतिनिधित्व जहां परिवर्तनों को चक्र रहित निर्देशित ग्राफ में व्यवस्थित किया जाता है, चरणों के समानांतर निष्पादन को अनुकूलित करता है।
Fault Tolerance
घटकों की विफलता की स्थिति में एक वितरित प्रणाली का सही ढंग से कार्य करना जारी रखने की क्षमता, आमतौर पर अतिरेक, प्रतिकृति और स्वचालित पुनर्प्राप्ति तंत्र के माध्यम से।
Consistency Model
एक वितरित प्रणाली में डेटा स्थिरता की गारंटी को परिभाषित करने वाला अनुबंध, एप्लिकेशन आवश्यकताओं के अनुसार मजबूत स्थिरता से लेकर अंतिम स्थिरता तक।
Combiner
मैप्रेड्यूस ऑप्टिमाइज़ेशन फ़ंक्शन जो शफ़ल के दौरान स्थानांतरित डेटा की मात्रा को कम करने के लिए प्रत्येक मैपर पर स्थानीय रूप से निष्पादित होता है, रिड्यूस चरण से पहले प्री-एग्रीगेशन लागू करता है।