এআই গ্লসারি

📖

শব্দ

Lazy Evaluation

এমন একটি কৌশল যেখানে রূপান্তরগুলি শুধুমাত্র তখনই কার্যকর করা হয় যখন একটি ক্রিয়া সূচিত হয়, যা কার্যকরী পরিকল্পনার সামগ্রিক অপ্টিমাইজেশনের অনুমতি দেয়।

📖

শব্দ

Broadcast Variables

বিতরণকৃত অপারেশনের সময় বারবার ডেটা স্থানান্তর এড়াতে, সমস্ত নোডে কার্যকরভাবে বিতরণ করা শুধুমাত্র পঠনযোগ্য ভেরিয়েবল।

📖

শব্দ

Accumulators

সমান্তরালভাবে তথ্য সমষ্টি করার জন্য ব্যবহৃত ভাগ করা ভেরিয়েবল যা শুধুমাত্র সহযোজী এবং ক্রমবিনিময়যোগ্য অপারেশন দ্বারা যোগ করা যেতে পারে।

📖

শব্দ

Stage

শাফল ছাড়াই কার্যকর করা যেতে পারে এমন রূপান্তরগুলির একটি সেট, যা Spark জবসের DAG-এ একটি কার্যকরী পর্যায়কে প্রতিনিধিত্ব করে।

📖

শব্দ

Driver

বিতরণকৃত কাজের সমন্বয় করা, DAG তৈরি করা এবং Spark অ্যাপ্লিকেশনগুলিতে এক্সিকিউটরদের পরিচালনা করার প্রধান প্রক্রিয়া।

📖

শব্দ

Executor

ক্লাস্টারের নোডগুলিতে কাজ সম্পাদন করা একটি ওয়ার্কার প্রক্রিয়া, যা ড্রাইভার দ্বারা নির্ধারিত ডেটা পার্টিশন এবং গণনা অপারেশন পরিচালনা করে।

📖

শব্দ

Serialization

স্টোরেজ বা নেটওয়ার্ক স্থানান্তরের জন্য অবজেক্টগুলিকে বাইনারি ফরম্যাটে রূপান্তর করার প্রক্রিয়া, যা বিতরণকৃত সিস্টেমের পারফরম্যান্সের জন্য সমালোচনামূলক।

📖

শব্দ

Container

একটি নির্দিষ্ট কাজ সম্পাদনের জন্য প্রয়োজনীয় CPU, মেমরি এবং অন্যান্য সম্পদগুলিকে এনক্যাপসুলেট করে YARN সম্পদ বরাদ্দের একক।

📖

শব্দ

পাইপলাইন

সংযুক্ত প্রক্রিয়াকরণের ধারা যেখানে একটি ধাপের আউটপুট সরাসরি পরবর্তী ধাপের ইনপুট হিসেবে কাজ করে, যা Spark Streaming-এ ডেটা প্রবাহকে অপ্টিমাইজ করে।