এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
নেস্টেরভ মোমেন্টাম
মোমেন্টাম অ্যালগরিদমের একটি বৈকল্পিক যা ভবিষ্যতের আনুমানিক অবস্থানে গ্রেডিয়েন্ট গণনা করে একটি অগ্রিম সংশোধন প্রয়োগ করে, কনভারজেন্স ত্বরান্বিত করে এবং অসিলেশন হ্রাস করে।
অ্যাডাম (অ্যাডাপটিভ মোমেন্ট এস্টিমেশন)
মোমেন্টাম এবং আরএমএসপ্রপের ধারণাগুলো একত্রিত করে একটি অপ্টিমাইজেশন অ্যালগরিদম, প্রতিটি প্যারামিটারের লার্নিং রেট সামঞ্জস্য করার জন্য গ্রেডিয়েন্টের প্রথম ও দ্বিতীয় মোমেন্টের অনুমান ব্যবহার করে।
অ্যাডাগ্র্যাড
একটি অ্যাডাপটিভ অপ্টিমাইজার যা প্রতিটি প্যারামিটারের লার্নিং রেট তার গ্রেডিয়েন্টের বর্গের ঐতিহাসিক যোগফলের ভিত্তিতে সামঞ্জস্য করে, কম ঘন ঘন প্যারামিটারগুলিকে অগ্রাধিকার দেয়।
অ্যাডাডেল্টা
অ্যাডাগ্র্যাডের একটি এক্সটেনশন যা একটি চলমান গড়ের মাধ্যমে অতীত গ্রেডিয়েন্টের অ্যাকুমুলেশন উইন্ডোকে একটি নির্দিষ্ট আকারে সীমাবদ্ধ করে, লার্নিং রেটের আক্রমণাত্মক হ্রাস এড়ায়।
লার্নিং রেট ডিকে
প্রশিক্ষণের সময় ধীরে ধীরে লার্নিং রেট হ্রাস করার কৌশল, প্রায়শই একটি পূর্বনির্ধারিত সময়সূচী (স্টেপ, এক্সপোনেনশিয়াল বা কোসাইন) অনুসারে, একটি মিনিমামের দিকে কনভারজেন্স পরিশোধনের জন্য।
ল্যাম্ব অপ্টিমাইজার (লেয়ার-ওয়াইজ অ্যাডাপটিভ মোমেন্টস)
বড় আকারের প্রশিক্ষণের জন্য ডিজাইন করা একটি অপ্টিমাইজেশন অ্যালগরিদম, ওয়েট এবং গ্রেডিয়েন্টের নর্ম ব্যবহার করে লেয়ার অনুসারে লার্নিং রেট সামঞ্জস্য করে, খুব বড় ডেটা ব্যাচের জন্য কার্যকর।
লার্স অপ্টিমাইজার (লেয়ার-ওয়াইজ অ্যাডাপটিভ রেট স্কেলিং)
ওয়েটের নর্ম এবং গ্রেডিয়েন্টের নর্মের মধ্যে অনুপাতের ভিত্তিতে প্রতিটি লেয়ারের জন্য লার্নিং রেট সামঞ্জস্য করে এমন একটি অপ্টিমাইজেশন পদ্ধতি, বিশেষভাবে বড় ব্যাচ দিয়ে প্রশিক্ষণের জন্য উপযুক্ত।
লুকঅ্যাহেড অপ্টিমাইজার
একটি অপ্টিমাইজেশন মেকানিজম যা পর্যায়ক্রমে 'ধীর' ওয়েটগুলিকে একটি অভ্যন্তরীণ অপ্টিমাইজার দ্বারা উৎপন্ন 'দ্রুত' ওয়েটগুলির গড়ের দিকে আপডেট করে, জেনারালাইজেশন এবং কনভারজেন্সের স্থিতিশীলতা উন্নত করে।
RAdam (Rectified Adam)
Adam-এর একটি বৈকল্পিক যা প্রশিক্ষণের প্রাথমিক পর্যায়ে শেখার হার অভিযোজনের ভ্যারিয়েন্স সংশোধন করে, ওয়ার্মআপ পর্যায় ছাড়াই আরও স্থিতিশীল অভিসৃতি প্রদান করে।
SWATS (Adam থেকে SGD-তে স্যুইচিং)
একটি কৌশল যা দ্রুত অভিসৃতির জন্য Adam-এর মতো একটি অভিযোজিত অপ্টিমাইজার দিয়ে প্রশিক্ষণ শুরু করে, তারপর উন্নত সাধারণীকরণের জন্য স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট (SGD)-এ স্যুইচ করে।
ইয়োগি অপ্টিমাইজার
Adam-এর একটি পরিবর্তন যা কম আক্রমণাত্মক দ্বিতীয় মুহূর্ত আপডেট ব্যবহার করে আরও স্থিতিশীল অভিসৃতি প্রদান করতে লক্ষ্য করে, দোলন হ্রাস করে এবং জটিল কাজে কর্মক্ষমতা উন্নত করে।
শ্যাম্পু
একটি দ্বিতীয়-ক্রম অপ্টিমাইজার যা ব্লক দ্বারা হেসিয়ান ম্যাট্রিক্সের অনুমান ব্যবহার করে গ্রেডিয়েন্টগুলিকে প্রিকন্ডিশন করে, খারাপভাবে কন্ডিশন্ড সমস্যার জন্য অভিসৃতি ত্বরান্বিত করে।
শেখার হার রিস্টার্ট
একটি চক্রীয় কৌশল যেখানে শেখার হার পর্যায়ক্রমে তার প্রাথমিক মানে পুনরায় সেট করা হয়, মডেলটিকে স্থানীয় মিনিমা থেকে বেরিয়ে আসতে এবং সমাধান স্থানের নতুন অঞ্চল অন্বেষণ করতে দেয়।