এআই গ্লসারি

📖

শব্দ

SVRG (স্টোকাস্টিক ভ্যারিয়েন্স রিডিউসড গ্রেডিয়েন্ট)

একটি অপ্টিমাইজেশন অ্যালগরিদম যা ভ্যারিয়েন্স কমানোর জন্য পর্যায়ক্রমিক সম্পূর্ণ গ্রেডিয়েন্ট গণনার সাথে স্টোকাস্টিক আপডেটগুলিকে একত্রিত করে। SVRG স্টোকাস্টিক গ্রেডিয়েন্ট অনুমান সংশোধন করার জন্য একটি সম্পূর্ণ গ্রেডিয়েন্ট রেফারেন্স বজায় রাখে।

📖

শব্দ

SAGA

একটি ভ্যারিয়েন্স হ্রাস পদ্ধতি যা প্রতিটি ডেটা পয়েন্টের জন্য ঐতিহাসিক গ্রেডিয়েন্টগুলির একটি টেবিল ব্যবহার করে এবং প্রতিটি পুনরাবৃত্তিতে সংশোধন করে। SAGA উত্তল সমস্যার জন্য গ্যারান্টিযুক্ত রৈখিক অভিসরণ সহ SAG এবং SVRG-এর সুবিধাগুলিকে একত্রিত করে।

📖

শব্দ

SAG (স্টোকাস্টিক এভারেজ গ্রেডিয়েন্ট)

একটি অপ্টিমাইজেশন অ্যালগরিদম যা প্রতিটি ডেটা পয়েন্টের জন্য পূর্ববর্তী গ্রেডিয়েন্টগুলি মেমরিতে সংরক্ষণ করে এবং ধাপে ধাপে সেগুলি আপডেট করে। SAG রেফারেন্স অনুমান হিসাবে ঐতিহাসিক গ্রেডিয়েন্টগুলির গড় ব্যবহার করে ভ্যারিয়েন্স হ্রাস করে।

📖

শব্দ

মিনি-ব্যাচ

সম্পূর্ণ ডেটাসেটের একটি মধ্যবর্তী আকারের উপসেট যা প্রতিটি পুনরাবৃত্তিতে গ্রেডিয়েন্ট অনুমান গণনা করতে ব্যবহৃত হয়। মিনি-ব্যাচগুলি বিশুদ্ধ SGD-এর তুলনায় ভ্যারিয়েন্স হ্রাস করে এবং একই সাথে সম্পূর্ণ গ্রেডিয়েন্টগুলির চেয়ে বেশি দক্ষ।

📖

শব্দ

কন্ট্রোল ভ্যারিয়েটস

একটি সংশ্লিষ্ট নিয়ন্ত্রণ ভেরিয়েবল প্রবর্তনের মাধ্যমে অনুমানকারীদের ভ্যারিয়েন্স হ্রাস করতে ব্যবহৃত একটি পরিসংখ্যানগত কৌশল। স্টোকাস্টিক অপ্টিমাইজেশনে, কন্ট্রোল ভ্যারিয়েটস একটি নিম্ন-ভ্যারিয়েন্স রেফারেন্স ব্যবহার করে গ্রেডিয়েন্ট অনুমানগুলিকে সংশোধন করে।

📖

শব্দ

গ্রেডিয়েন্ট স্ন্যাপশট

SVRG-এর মতো ভ্যারিয়েন্স হ্রাস অ্যালগরিদমগুলিতে পর্যায়ক্রমে সংরক্ষিত সম্পূর্ণ গ্রেডিয়েন্ট গণনা। স্ন্যাপশট সম্পূর্ণ আপডেটের মধ্যে স্টোকাস্টিক গ্রেডিয়েন্ট অনুমান সংশোধন করার জন্য একটি রেফারেন্স হিসাবে কাজ করে।

📖

শব্দ

রৈখিক অভিসরণ

অভিসরণের হার যেখানে শক্তিশালী উত্তল সমস্যার জন্য পুনরাবৃত্তির সংখ্যা বৃদ্ধির সাথে ত্রুটিটি সূচকীয়ভাবে হ্রাস পায়। SVRG এবং SAGA-এর মতো ভ্যারিয়েন্স হ্রাস পদ্ধতিগুলি নির্দিষ্ট শর্তে রৈখিক অভিসরণ অর্জন করে।

📖

শব্দ

গ্রেডিয়েন্ট ভ্যারিয়েন্স

ডেটার এলোমেলো স্যাম্পলিংয়ের কারণে স্টোকাস্টিক গ্রেডিয়েন্ট অনুমানগুলির পরিবর্তনশীলতার পরিমাপ। অভিসরণ উন্নত করার জন্য SVRG এবং SAGA কৌশলগুলির প্রাথমিক লক্ষ্য হল এই ভ্যারিয়েন্স হ্রাস করা।

📖

শব্দ

মেমরি জটিলতা

গণনার জন্য প্রয়োজনীয় তথ্য সংরক্ষণ করতে অ্যালগরিদমের প্রয়োজনীয় মেমরি স্পেস। SAG এবং SAGA-র ঐতিহাসিক গ্রেডিয়েন্ট সংরক্ষণের জন্য O(n) মেমরি প্রয়োজন, অন্যদিকে SVRG-র শুধুমাত্র O(1) অতিরিক্ত মেমরি প্রয়োজন।

📖

শব্দ

শক্তিশালী উত্তলতা

একটি ফাংশনের বৈশিষ্ট্য যেখানে এর বক্রতা একটি ধনাত্মক ধ্রুবক দ্বারা নিম্ন-সীমাবদ্ধ। শক্তিশালী উত্তলতা একটি মূল শর্ত যা ভ্যারিয়েন্স হ্রাস পদ্ধতিগুলির রৈখিক অভিসৃতি নিশ্চিত করে।

📖

শব্দ

প্রক্সিমাল অপারেটর

একটি গাণিতিক অপারেশন যা নিয়মিতকরণ পদ অন্তর্ভুক্ত করার জন্য উত্তল সেটের উপর অভিক্ষেপকে সাধারণীকরণ করে। ভ্যারিয়েন্স হ্রাস পদ্ধতিগুলি অ-পার্থক্যযোগ্য সমস্যাগুলি মোকাবেলা করার জন্য প্রক্সিমাল অপারেটরগুলির সাথে সংযুক্ত করা যেতে পারে।

📖

শব্দ

স্টোকাস্টিক গ্রেডিয়েন্ট অনুমানকারী

ডেটার একটি এলোমেলো উপসেটে গণনা করা প্রকৃত গ্রেডিয়েন্টের নিরপেক্ষ অনুমানকারী। ভ্যারিয়েন্স হ্রাস কৌশলগুলি এর শূন্য পক্ষপাত বজায় রাখার সময় এর ভ্যারিয়েন্স হ্রাস করতে এই অনুমানকারীকে পরিবর্তন করে।

📖

শব্দ

ভ্যারিয়েন্স সীমা

ভ্যারিয়েন্স হ্রাস অ্যালগরিদম দ্বারা নিশ্চিত গ্রেডিয়েন্ট অনুমানের ভ্যারিয়েন্সের উপর তাত্ত্বিক ঊর্ধ্ব সীমা। এই সীমাটি প্রায়শই সমস্যার কন্ডিশনিং এবং সর্বোত্তম থেকে দূরত্বের সাথে সম্পর্কিত।

📖

শব্দ

SARAH (স্টোকাস্টিক রিকার্সিভ গ্রেডিয়েন্ট অ্যালগরিদম)

প্রতিটি পুনরাবৃত্তিতে গ্রেডিয়েন্ট অনুমানকারী আপডেট করতে একটি পুনরাবৃত্তিমূলক পদ্ধতি ব্যবহার করে ভ্যারিয়েন্স হ্রাস অ্যালগরিদম। SARAH নিশ্চিত অভিসৃতির সাথে SVRG এবং ত্বরিত গ্রেডিয়েন্ট পদ্ধতির ধারণাগুলিকে একত্রিত করে।