এআই গ্লসারি

📖

শব্দ

ওয়ার্ম রিস্টার্ট

প্রশিক্ষণ কৌশল যা স্থানীয় মিনিমা এড়াতে মডেলের ওজন সংরক্ষণ করার সময় পর্যায়ক্রমিকভাবে শিক্ষার হারকে একটি উচ্চ মানে পুনরায় সেট করে। কোসাইন ক্ষয় সহ ওয়ার্ম রিস্টার্ট (SGDR) প্যারামিটার স্পেসের অন্বেষণ উন্নত করে।

📖

শব্দ

RAdam

Adam-এর একটি সংশোধিত সংস্করণ যা প্রশিক্ষণের প্রাথমিক ওয়ার্ম-আপ পর্যায়ে অভিযোজিত ওজনের ভ্যারিয়েন্স সংশোধন করে। RAdam SGD-এর তাত্ত্বিক সুবিধাগুলিকে Adam-এর ব্যবহারিক কর্মক্ষমতার সাথে একত্রিত করে, প্রশিক্ষণের শুরুতে আরও স্থিতিশীল অভিসৃতি প্রদান করে।