এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
মাল্টি-হেড সেলফ-অ্যাটেনশন (MHSA)
একটি প্রক্রিয়া যা মডেলকে একই সময়ে ছবির বিভিন্ন অংশের উপর মনোযোগ দিতে দেয়, একাধিক অ্যাটেনশন ম্যাট্রিক্স সমান্তরালভাবে গণনা করে, ফলে বিভিন্ন ধরনের স্থানিক সম্পর্ক ক্যাপচার করা হয়।
লেয়ার স্কেল
ভিআইটি-এর গভীর স্তরগুলিতে প্রবর্তিত একটি নিয়মিতকরণ কৌশল, যেখানে শেখার যোগ্য ওজন অবশিষ্ট আউটপুটগুলিতে প্রয়োগ করা হয় যাতে প্রাথমিক স্তরগুলির প্রশিক্ষণ স্থিতিশীল হয়।
উইন্ডোড অ্যাটেনশন
একটি অ্যাটেনশন প্রক্রিয়া যা ছবির স্থানীয় এবং ওভারল্যাপ না হওয়া উইন্ডোগুলিতে সীমাবদ্ধ, যার ফলে কম্পিউটেশনাল জটিলতা O(n²) থেকে O(n)-এ হ্রাস পায়, যেখানে n হল প্যাচের সংখ্যা।
শিফটেড উইন্ডো অ্যাটেনশন
একটি কৌশল যেখানে অ্যাটেনশন উইন্ডোগুলি স্তরগুলির মধ্যে স্থানান্তরিত হয় যাতে ক্রস-উইন্ডো সংযোগ সম্ভব হয়, ফলে মডেলের দূরবর্তী সম্পর্ক মডেলিং করার ক্ষমতা বৃদ্ধি পায়।
ডিইআইটি (ডেটা-এফিশিয়েন্ট ইমেজ ট্রান্সফরমার)
ভিআইটি-এর একটি রূপ যা কম পরিমাণ ডেটা দিয়ে প্রশিক্ষণযোগ্য, জ্ঞান ডিস্টিলেশন কৌশলের মাধ্যমে যেখানে একটি ডিস্টিলেশন টোকেন যোগ করা হয় যাতে একটি সিএনএন শিক্ষকের কাছ থেকে শেখা যায়।
ডিস্টিলেশন টোকেন
ডিইআইটি-তে অতিরিক্ত একটি টোকেন যা একটি শিক্ষক মডেলের (সাধারণত সিএনএন) পূর্বাভাস অনুকরণ করতে শেখে, জ্ঞান স্থানান্তর সহজতর করে এবং কম ডেটা দিয়ে কর্মক্ষমতা উন্নত করে।
মাস্কড অটোএনকোডার (MAE)
ভিআইটি-এর জন্য একটি স্ব-তত্ত্বাবধান পদ্ধতি যেখানে ছবির এলোমেলো প্যাচগুলি মাস্ক করা হয় (৭৫% পর্যন্ত) এবং মডেলটি সেগুলি পুনর্গঠন করতে শেখে, যা আশ্চর্যজনক শেখার ক্ষমতা প্রকাশ করে।
প্যাচ মার্জিং
হায়ারার্কিক্যাল ট্রান্সফরমারগুলিতে একটি অপারেশন যা ২x২ সংলগ্ন প্যাচের গ্রুপগুলিকে একত্রিত করে নিম্ন রেজোলিউশনের টোকেন তৈরি করে, ফলে গভীরতা এবং রিসেপ্টিভ ফিল্ড বৃদ্ধি পায়।
আপেক্ষিক অবস্থানগত পক্ষপাত
অ্যাটেনশন স্কোরে যোগ করা একটি পক্ষপাত যা প্যাচগুলির আপেক্ষিক অবস্থানের উপর নির্ভর করে, মডেলের পরম অবস্থান এনকোডিং ছাড়াই স্থানিক সম্পর্ক বোঝার ক্ষমতা উন্নত করে।
হাইব্রিড আর্কিটেকচার
একটি পদ্ধতি যা ফিচার নিষ্কাশনের জন্য প্রাথমিক কনভোল্যুশনাল নেটওয়ার্কের সাথে একটি ট্রান্সফরমারকে একত্রিত করে বৈশ্বিক প্রক্রিয়াকরণের জন্য ব্যবহার করা হয়, ViT-এর প্রাথমিক প্রয়োগে ডেটার প্রয়োজনীয়তা কমাতে।
টোকেন লেবেলিং
একটি প্রশিক্ষণ কৌশল যেখানে প্রতিটি প্যাচের জন্য একটি তত্ত্বাবধায়ক লেবেল দেওয়া হয় একটি ছবির জন্য একটি মাত্র লেবেলের পরিবর্তে, মডেলকে আরও সমৃদ্ধ এবং স্থানীয় উপস্থাপনা শিখতে বাধ্য করে।