এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
ডিকাপল্ড L2 রেগুলারাইজেশন
অপ্টিমাইজেশন স্টেপ থেকে স্বাধীনভাবে রেগুলারাইজেশন প্রয়োগ করার জন্য গ্রেডিয়েন্ট আপডেট থেকে ওয়েট ডিকের পৃথকীকরণ।
হাইপারপ্যারামিটার বিটা১ এবং বিটা২
AdamW অ্যালগরিদমে যথাক্রমে প্রথম এবং দ্বিতীয় অর্ডার মোমেন্টের সূচকীয় ক্ষয় নিয়ন্ত্রণকারী সহগ।
প্রথম অর্ডার মোমেন্ট
গ্রেডিয়েন্টের সূচকীয় চলমান গড় যা ত্রুটি ক্যানিয়নে অভিসৃতি ত্বরান্বিত করার জন্য গড় অবতরণ দিক ক্যাপচার করে।
দ্বিতীয় অর্ডার মোমেন্ট
স্থানীয় বক্রতা অনুযায়ী শেখার হার সামঞ্জস্য করার জন্য ভ্যারিয়েন্স অনুমানকারী গ্রেডিয়েন্ট বর্গের সূচকীয় চলমান গড়।
স্থিতিশীলতা ইপসিলন
গ্রেডিয়েন্ট স্বাভাবিককরণের সময় শূন্য দ্বারা বিভাজন এড়াতে এবং সংখ্যাসূচক স্থিতিশীলতা নিশ্চিত করতে হর-এ যোগ করা ছোট ধ্রুবক।
অ্যাসিম্পটোটিক অভিসৃতি
তাত্ত্বিক বৈশিষ্ট্য যা নিশ্চিত করে যে নির্দিষ্ট শর্তে পুনরাবৃত্তির সংখ্যা অসীমের দিকে ঝুঁকলে অ্যালগরিদম একটি সমালোচনামূলক বিন্দুতে পৌঁছায়।
গ্রেডিয়েন্ট ডিকম্পোজিশন
AdamW বাস্তবায়নে ওয়েট ডিকের উপাদান এবং প্রকৃত আপডেটে গ্রেডিয়েন্টের ভেক্টর পৃথকীকরণ।
কোল্ড স্টার্ট বায়াস
শূন্য দিয়ে আরম্ভ করার কারণে প্রাথমিক পুনরাবৃত্তিতে মোমেন্টের পক্ষপাতদুষ্ট অনুমানের সমস্যা, যা AdamW-এর বায়াস ফ্যাক্টর দ্বারা সংশোধন করা হয়।
ওজন হ্রাস ফ্যাক্টর
প্যারামিটার ল্যাম্বডা যা প্রতিটি ওজন আপডেটে স্বাধীনভাবে প্রয়োগ করা বিযুক্ত L2 নিয়মিতকরণের তীব্রতা নিয়ন্ত্রণ করে।
অভিযোজিত স্বাভাবিকীকরণ
গ্রেডিয়েন্টের দ্বিতীয়-ক্রম মুহূর্তের বর্গমূল দ্বারা গ্রেডিয়েন্টকে ভাগ করে গ্রেডিয়েন্টের ইতিহাস অনুযায়ী আপডেটের প্রশস্ততা স্বাভাবিক করা।