এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
বিতরণ করা ম্যাট্রিক্স ফ্যাক্টরাইজেশন
একটি বৃহৎ আকারের ম্যাট্রিক্সকে ছোট ছোট ম্যাট্রিক্সের গুণফলে বিভক্ত করার জন্য অ্যালগরিদমিক কৌশলের সেট, যা একটি মেশিন ক্লাস্টারে গণনা এবং ডেটা বিতরণ করে একক নোডের মেমরি এবং কম্পিউটেশনাল শক্তির সীমাবদ্ধতা কাটিয়ে উঠতে।
বিতরণ করা বিকল্প সর্বনিম্ন বর্গ (ALS)
সমান্তরাল ম্যাট্রিক্স ফ্যাক্টরাইজেশন অ্যালগরিদম যা একটি ম্যাট্রিক্স ফ্যাক্টর স্থির রেখে অন্যটির জন্য সর্বনিম্ন বর্গ সমস্যা পর্যায়ক্রমে সমাধান করে, প্রতিটি সারি বা কলামে গণনার স্বাধীনতার কারণে Spark MLlib-এর মতো বিতরণ করা পরিবেশে স্বাভাবিকভাবে মানিয়ে নেয়।
বিতরণ করা স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট (SGD)
স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্টের সমান্তরাল বৈকল্পিক যেখানে ম্যাট্রিক্স ফ্যাক্টরাইজেশনের প্যারামিটার আপডেট একই সময়ে বা আলাদাভাবে ডেটার একাধিক পার্টিশনে করা হয়, বিতরণ করা প্রসঙ্গে সঠিকভাবে অভিসারী হওয়ার জন্য সামঞ্জস্য ব্যবস্থাপনা প্রক্রিয়া প্রয়োজন।
ফ্যাক্টরাইজেশনের জন্য ম্যাপরিডিউস
প্রোগ্রামিং প্যারাডাইম যা ম্যাট্রিক্স ফ্যাক্টরাইজেশন অ্যালগরিদমকে দুটি প্রধান ধাপে বিভক্ত করে: ডেটা খণ্ডের স্থানীয় গণনার জন্য 'ম্যাপ' ধাপ এবং আংশিক ফলাফল একত্রিত করে ম্যাট্রিক্স ফ্যাক্টর আপডেট করার জন্য 'রিডিউস' ধাপ, বিশেষ করে Hadoop-এ বাস্তবায়নে ব্যবহৃত।
স্পার্ক এমএললিব ALS
স্পার্কের মেশিন লার্নিং লাইব্রেরিতে বিকল্প সর্বনিম্ন বর্গ অ্যালগরিদমের অপ্টিমাইজড এবং বিতরণ করা বাস্তবায়ন, যা পুনরাবৃত্তিমূলক ডেটার সর্বাধিক দক্ষতার জন্য RDD বা DataFrame প্রোগ্রামিং মডেল ব্যবহার করে বৃহৎ পরিসরের ম্যাট্রিক্স ফ্যাক্টরাইজেশনের জন্য ডিজাইন করা।
ম্যাট্রিক্স পার্টিশনিং
একটি বৃহৎ ম্যাট্রিক্সকে সাব-ব্লকে (সারি, কলাম বা বর্গাকার ব্লক অনুযায়ী) ক্লাস্টারের নোডে বিতরণ করার কৌশল, একটি গুরুত্বপূর্ণ পছন্দ যা সরাসরি কাজের লোড, নোড-আন্তঃ যোগাযোগ এবং ফ্যাক্টরাইজেশন অ্যালগরিদমের সামগ্রিক কর্মক্ষমতাকে প্রভাবিত করে।
সামঞ্জস্য মডেল
ক্লাস্টারের নোড জুড়ে ম্যাট্রিক্স ফ্যাক্টর আপডেটের দৃশ্যমানতা সংজ্ঞায়িত করার নিয়ম, যা শক্তিশালী সামঞ্জস্য (BSP মডেল) যা লেটেন্সির বিনিময়ে অভিসৃতি নিশ্চিত করে এবং দুর্বল সামঞ্জস্য (অ্যাসিঙ্ক্রোনাস মডেল) যা পুনরাবৃত্তি দ্রুত করে কিন্তু স্থিতিশীলতা ঝুঁকিতে ফেলতে পারে, এর মধ্যে দোদুল্যমান।
অনলাইন ম্যাট্রিক্স ফ্যাক্টরাইজেশন
ক্রমাগত ডেটা স্ট্রিমের জন্য উপযুক্ত বিতরণ করা পদ্ধতি, যেখানে ফ্যাক্টরাইজেশন মডেল নতুন পর্যবেক্ষণ আসার সাথে সাথে ধাপে ধাপে আপডেট করা হয় পুরো ইতিহাসের উপর সম্পূর্ণ পুনঃপ্রশিক্ষণের প্রয়োজন ছাড়াই, প্রায়শই SGD-এর বিতরণ করা বৈকল্পিক দিয়ে বাস্তবায়িত।
প্যারামেট্রিক ডিস্ট্রিবিউটেড ম্যাট্রিক্স ফ্যাক্টরাইজেশন
একটি উন্নত পদ্ধতি যেখানে ম্যাট্রিক্স ফ্যাক্টরগুলি সরাসরি শেখা হয় না বরং প্যারামেট্রিক ফাংশন (যেমন: নিউরাল নেটওয়ার্ক) দ্বারা উৎপন্ন হয় যা শেয়ার্ড এবং ডিস্ট্রিবিউটেড, যার ফলে নোডগুলির মধ্যে যোগাযোগের ডেটার পরিমাণ হ্রাস পায় এবং সাধারণীকরণের ক্ষমতা উন্নত হয়।
স্ট্র্যাগলার্স (ধীর নোড)
ডিস্ট্রিবিউটেড সিস্টেমে একটি ঘটনা যেখানে কিছু মেশিন অন্যান্যদের তুলনায় তাদের গণনার কাজ অনেক ধীরে সম্পন্ন করে, যা সম্পূর্ণ সিঙ্ক্রোনাস ফ্যাক্টরাইজেশন প্রক্রিয়াকে বিলম্বিত করে; স্পেকুলেশন বা বিলম্ব-সহনশীল অ্যালগরিদমের মতো কৌশলগুলি তাদের প্রভাব হ্রাস করার জন্য ডিজাইন করা হয়েছে।
ডিস্ট্রিবিউটেড নন-নেগেটিভ ম্যাট্রিক্স ফ্যাক্টরাইজেশন (এনএমএফ)
নন-নেগেটিভ ম্যাট্রিক্স ফ্যাক্টরাইজেশনের ডিস্ট্রিবিউটেড এক্সটেনশন, যেখানে ফ্যাক্টরগুলির উপর নন-নেগেটিভিটি সীমাবদ্ধতা গুণনমূলক বা প্রজেকশন আপডেট নিয়মের মাধ্যমে প্রয়োগ করা হয় যা সমান্তরাল এক্সিকিউশনের জন্য উপযোগী, প্রায়শই বৃহৎ স্কেল টেক্সট ক্লাস্টারিংয়ের জন্য ব্যবহৃত হয়।
ইটারেটিভ অ্যালগরিদমে চেকপয়েন্টিং
একটি ডিস্ট্রিবিউটেড অ্যালগরিদমের পুনরাবৃত্তির সময় নির্ভরযোগ্য স্টোরেজে (যেমন: HDFS) ম্যাট্রিক্স ফ্যাক্টরগুলির অবস্থা পর্যায়ক্রমিকভাবে সংরক্ষণের কৌশল, যা নোড ব্যর্থতার ক্ষেত্রে একটি মধ্যবর্তী পয়েন্ট থেকে গণনা পুনরায় শুরু করতে এবং শুরু থেকে সবকিছু পুনরায় চালানো এড়াতে সক্ষম করে।
ডিস্ট্রিবিউটেড টেনসর ফ্যাক্টরাইজেশন
ডিস্ট্রিবিউটেড প্রসঙ্গে ম্যাট্রিক্স ফ্যাক্টরাইজেশনকে টেনসরে (মাল্টি-ডাইমেনশনাল অ্যারে) সাধারণীকরণ, যা দুইটির বেশি মোড সহ ডেটা মডেল করতে ব্যবহৃত হয় (যেমন: ব্যবহারকারী, আইটেম, সময়) এবং ডিস্ট্রিবিউটেড PARAFAC বা টাকার অ্যালগরিদমের মতো নির্দিষ্ট সমান্তরাল অ্যালগরিদমের প্রয়োজন হয়।
ডিস্ট্রিবিউটেড লস ফাংশন
ফ্যাক্টরাইজড ম্যাট্রিক্সের পুনর্গঠন ত্রুটি গণনা, যা পার্টিশনড পদ্ধতিতে সম্পাদিত হয় যেখানে প্রতিটি নোড তার ডেটার সাবসেটে লস মূল্যায়ন করে একটি গ্লোবাল রিডাকশন ধাপের আগে যা কেন্দ্রীভূত বা বিকেন্দ্রীভূতভাবে মডেল আপডেট নির্দেশিত করার জন্য মোট লস গণনা করে।
ডিস্ট্রিবিউটেড রেগুলারাইজেশন
ওভারফিটিং প্রতিরোধের জন্য ম্যাট্রিক্স ফ্যাক্টরগুলিতে জরিমানা (যেমন L2 নর্ম) প্রয়োগ, যেখানে রেগুলারাইজেশন টার্ম প্রতিটি নোডে স্থানীয়ভাবে গণনা করা হয় এবং প্যারামিটারগুলির গ্লোবাল আপডেটের সময় একত্রিত করা হয়, ক্লাস্টার জুড়ে সামঞ্জস্যপূর্ণ রেগুলারাইজেশন নিশ্চিত করে।
ফ্যাক্টরাইজেশনের জন্য স্পার্ক গ্রাফএক্স
স্পার্কের গ্রাফ প্রসেসিং API, গ্রাফএক্স ব্যবহার করে ম্যাট্রিক্সকে একটি বাইপার্টাইট গ্রাফ (ব্যবহারকারী-আইটেম) হিসাবে মডেল করা এবং গ্রাফ নোডগুলির মধ্যে মেসেজ পাসিং ভিত্তিক ফ্যাক্টরাইজেশন অ্যালগরিদম চালানো, যা ডেটাফ্রেম ভিত্তিক বাস্তবায়নের একটি বিকল্প প্রদান করে।