এআই গ্লসারি

📖

শব্দ

RMSprop

একটি অভিযোজিত অপ্টিমাইজেশন কৌশল যা সাম্প্রতিক গ্রেডিয়েন্টগুলির বর্গের সূচকীয় চলমান গড় দ্বারা শিক্ষার হারকে ভাগ করে, যাতে বৃহৎ মাত্রার গ্রেডিয়েন্টগুলি পরিচালনা করা যায়।

📖

শব্দ

Adagrad

একটি অভিযোজিত অপ্টিমাইজেশন অ্যালগরিদম যা ঐতিহাসিক গ্রেডিয়েন্টগুলির বর্গ সংগ্রহ করে প্রতিটি প্যারামিটারের শিক্ষার হারকে সামঞ্জস্য করে, কম ঘন ঘন প্যারামিটারগুলিকে অগ্রাধিকার দেয়।

📖

শব্দ

Adadelta

Adagrad-এর একটি সম্প্রসারণ যা সূচকীয় চলমান গড়ের মাধ্যমে অতীত গ্রেডিয়েন্টগুলির উইন্ডোকে একটি নির্দিষ্ট আকারে সীমাবদ্ধ করে শিক্ষার হারের তীব্র হ্রাসের সমস্যা সমাধান করে।

📖

শব্দ

Adamax

Adam-এর একটি বৈকল্পিক যা L2 নর্মের পরিবর্তে অসীম নর্মের উপর ভিত্তি করে, কিছু পরিস্থিতিতে সংখ্যাগতভাবে অধিক স্থিতিশীলতা এবং দৃঢ় অভিসৃতি প্রদান করে।

📖

শব্দ

Nadam

Nesterov ত্বরিত গ্রেডিয়েন্ট এবং Adam-এর সংমিশ্রণ যা দ্রুত এবং স্থিতিশীল অভিসৃতির জন্য Adam-এর অভিযোজিত কাঠামোর মধ্যে Nesterov-এর ত্বরণকে সংযুক্ত করে।

📖

শব্দ

AMSGrad

Adam-এর একটি পরিবর্তন যা তাত্ত্বিক অভিসৃতি নিশ্চিত করে, Adam-এর সম্ভাব্য অপসারণ এড়ানোর জন্য বর্গযুক্ত সূচকীয় চলমান গড়গুলির সর্বোচ্চ মান সংরক্ষণ করে।

📖

শব্দ

AdamW

Adam-এর একটি বৈকল্পিক যা ওয়েট ডিকে (ওজন হ্রাস) অভিযোজিত আপডেট থেকে বিচ্ছিন্ন করে, গ্রেডিয়েন্টের পরিবর্তে সরাসরি ওজনগুলিতে ওজন হ্রাস প্রয়োগ করে।

📖

শব্দ

SGDW

বিচ্ছিন্ন ওয়েট ডিকে সহ SGD-এর একটি সম্প্রসারণ যা উন্নত নিয়মিতকরণের জন্য গ্রেডিয়েন্ট আপডেট থেকে স্বাধীনভাবে ওজন হ্রাস প্রয়োগ করে।

📖

শব্দ

RAdam

Rectified Adam যা অভিযোজিত সংশোধন প্রক্রিয়া প্রবর্তন করে প্রাথমিক প্রশিক্ষণ পর্যায়ে বড় ভ্যারিয়েন্সের সমস্যা সমাধান করে।

📖

শব্দ

YellowFin

অপ্টিমাইজার যা দ্বিতীয়-ক্রম পদ্ধতির স্থানীয় অভিসরণের তাত্ত্বিক বিশ্লেষণ ব্যবহার করে স্বয়ংক্রিয়ভাবে শিক্ষার হার এবং মোমেন্টাম সহগ সামঞ্জস্য করে।

📖

শব্দ

LARS

লেয়ার-ওয়াইজ অ্যাডাপ্টিভ রেট স্কেলিং যা বৃহৎ-স্কেল প্রশিক্ষণের জন্য ওজন এবং গ্রেডিয়েন্টের L2 নর্মের অনুপাতের ভিত্তিতে প্রতি স্তরে শিক্ষার হার সামঞ্জস্য করে।

📖

শব্দ

LAMB

লেয়ার-ওয়াইজ অ্যাডাপ্টিভ মোমেন্টস অপ্টিমাইজার ফর ব্যাচ ট্রেনিং যা বিশাল মডেলের দক্ষ প্রশিক্ষণের জন্য Adam-ধরনের অভিযোজিত পরিসংখ্যান সংহত করে LARS কে প্রসারিত করে।

📖

শব্দ

Rprop

Resilient Backpropagation যা গ্রেডিয়েন্টের মাত্রা উপেক্ষা করে এবং শুধুমাত্র তার চিহ্ন বিবেচনা করে শক্তিশালী আপডেটের জন্য প্রতি প্যারামিটারে শিক্ষার হার সামঞ্জস্য করে।

📖

শব্দ

QHAdam

Quasi-Hyperbolic Adam যা মুহুর্তগুলোর অবদানের সূক্ষ্ম নিয়ন্ত্রণের জন্য কোয়াসি-হাইপারবোলিক প্যারামিটার প্রবর্তন করে Adam এবং Momentum কে সাধারণীকরণ করে।