এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
Apache Airflow
এয়ারবিএনবি দ্বারা বিকশিত ওপেন-সোর্স ওয়ার্কফ্লো অর্কেস্ট্রেশন প্ল্যাটফর্ম, যা DAGs (Directed Acyclic Graphs) এর মাধ্যমে জটিল ডেটা পাইপলাইনগুলি সংজ্ঞায়িত, নির্ধারণ এবং পর্যবেক্ষণ করতে সক্ষম।
Apache Oozie
হাডুপ ইকোসিস্টেমের জন্য বিশেষভাবে তৈরি ওয়ার্কফ্লো সিস্টেম, যা MapReduce, Pig, Hive এবং HDFS জবগুলির অর্কেস্ট্রেশন করে, সাথে রয়েছে সাময়িক এবং শর্তসাপেক্ষ নির্ভরতা ব্যবস্থাপনা।
Luigi
স্পটিফাই দ্বারা বিকশিত ওপেন-সোর্স পাইথন ফ্রেমওয়ার্ক, যা নির্ভরতা ব্যবস্থাপনা, টাস্ক ভিজ্যুয়ালাইজেশন এবং হাডুপের সাথে নেটিভ ইন্টিগ্রেশন সহ জটিল ডেটা পাইপলাইন তৈরি করতে ব্যবহৃত হয়।
Apache NiFi
স্বয়ংক্রিয় এবং নিরাপদ ডেটা ফ্লো প্ল্যাটফর্ম, যা সিস্টেমগুলির মধ্যে ডেটা পরিবহন, রূপান্তর এবং রাউটিং করতে সক্ষম, সাথে রয়েছে রিয়েল-টাইম পাইপলাইন ডিজাইনের জন্য ভিজ্যুয়াল ইন্টারফেস।
Kubeflow
কুবারনেটিসের উপর মেশিন লার্নিং ওয়ার্কফ্লো ডিপ্লয় এবং পরিচালনা করার জন্য ওপেন-সোর্স টুলকিট, যা জটিল ML পাইপলাইনগুলি অর্কেস্ট্রেট করে, সাথে রয়েছে এক্সপেরিমেন্টের ভার্সনিং এবং ট্র্যাকিং।
Prefect
আধুনিক পাইথন ওয়ার্কফ্লো অর্কেস্ট্রেশন ইঞ্জিন, যা ডায়নামিক ফ্লো ব্যবস্থাপনা, নেটিভ অবজারভেবিলিটি এবং ক্লাউড/অন-প্রেমাইজ হাইব্রিড এক্সিকিউশন সাপোর্ট সহ স্থিতিস্থাপকতা প্রদান করে।
Dagster
অ্যাসেট-ভিত্তিক ডেটা অর্কেস্ট্রেশন প্ল্যাটফর্ম, যা ডিক্লেয়ারেটিভ পাইপলাইন ডেভেলপমেন্ট, ইউনিট টেস্টিং এবং মডুলার আর্কিটেকচার সহ ডেটার লাইফসাইকেল ব্যবস্থাপনা প্রদান করে।
Azkaban
লিংকডইন দ্বারা বিকশিত ওপেন-সোর্স ব্যাচ ওয়ার্কফ্লো সিস্টেম, যা সহজ ওয়েব ইন্টারফেস এবং সাময়িক নির্ভরতা ব্যবস্থাপনা সহ হাডুপ জবগুলির শিডিউলিংয়ে বিশেষজ্ঞ।
Apache Storm
মিলিসেকেন্ড লেটেন্সি এবং এক্সাক্টলি-ওয়ান্স প্রসেসিং গ্যারান্টি সহ, আনবাউন্ডেড স্ট্রিম প্রসেসিং টপোলজি অর্কেস্ট্রেট করার ক্ষমতাসম্পন্ন একটি রিয়েল-টাইম বিতরণিত স্ট্রিম প্রসেসিং সিস্টেম।
Apache Beam
ব্যাচ এবং স্ট্রিমিং পাইপলাইনের জন্য একটি একীভূত প্রোগ্রামিং মডেল, যা একাধিক রানার (Apache Flink, Spark, Dataflow) এর উপর পোর্টেবল ওয়ার্কফ্লো লেখার সুবিধা দেয়।