এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
মডেল ডিস্টিলেশন
একটি সংকোচন পদ্ধতি যেখানে একটি বড় জটিল মডেল (শিক্ষক) একটি ছোট এবং দ্রুত মডেল (শিক্ষার্থী) কে তার আউটপুট, নরম সম্ভাব্যতা সহ পুনরুত্পাদন করতে প্রশিক্ষণ দেয়, যাতে তার জ্ঞান স্থানান্তর করা যায় এবং হ্রাসিত জটিলতার সাথে কাছাকাছি কর্মক্ষমতা অর্জন করা যায়।
হাইপারপ্যারামিটার অপ্টিমাইজেশন
একটি মডেলের জন্য সর্বোত্তম হাইপারপ্যারামিটার সমন্বয় (যেমন: লার্নিং রেট, ব্যাচ সাইজ) খুঁজে বের করার পদ্ধতিগত প্রক্রিয়া, প্রায়শই গ্রিড সার্চ, র্যান্ডম সার্চ বা বেইজিয়ান অপ্টিমাইজেশানের মতো পদ্ধতির মাধ্যমে, যাতে একটি প্রদত্ত ডেটাসেটে এর কর্মক্ষমতা সর্বাধিক করা যায়।
ফাইন-টিউনিং
বৃহৎ ডেটাতে প্রি-ট্রেইনড একটি মডেলকে একটি নির্দিষ্ট কাজে অভিযোজনের কৌশল, একটি ছোট এবং লক্ষ্যবস্তুত ডেটাসেটে প্রশিক্ষণ চালিয়ে যাওয়ার মাধ্যমে, যা কম ডেটা এবং কম্পিউটেশনাল সময়ে উচ্চ কর্মক্ষমতা অর্জন করতে দেয়।
ইনফারেন্স অপ্টিমাইজেশন
প্রডাকশন ফেজে একটি মডেলের প্রেডিকশনের লেটেন্সি এবং কম্পিউটেশনাল খরচ কমানোর লক্ষ্যে কৌশলগুলির সমষ্টি, যার মধ্যে কোয়ান্টাইজেশন, নির্দিষ্ট হার্ডওয়্যার এক্সিলারেটর (TPU, GPU) এর জন্য কম্পাইলেশন এবং কম্পিউটেশন গ্রাফ অপ্টিমাইজেশন অন্তর্ভুক্ত।
মডেল কম্পাইলেশন
একটি মডেলের কম্পিউটেশন গ্রাফকে, TensorFlow বা PyTorch এর মতো একটি ফ্রেমওয়ার্ক থেকে, একটি লক্ষ্যবস্তুত নির্দিষ্ট হার্ডওয়্যারের (CPU, GPU, TPU) জন্য অত্যন্ত অপ্টিমাইজড এক্সিকিউটেবল ফরম্যাটে রূপান্তরের প্রক্রিয়া, অপারেশন ফিউশন এবং অন্যান্য লো-লেভেল অপ্টিমাইজেশন প্রয়োগ করে।
অপারেটর ফিউশন
একটি কম্পাইলেশন কৌশল যা কম্পিউটেশন গ্রাফের একাধিক প্রাথমিক অপারেশন (যেমন: একটি কনভোলিউশন যার পরে বায়াস অ্যাডিশন এবং একটি অ্যাক্টিভেশন) একটি একক অপারেশন কার্নেলে একত্রিত করে, এইভাবে মেমরি ওভারহেড এবং মেমরি অ্যাক্সেস হ্রাস করে এক্সিকিউশন গতি বাড়ায়।
ONNX (ওপেন নিউরাল নেটওয়ার্ক এক্সচেঞ্জ)
একটি ওপেন এবং স্ট্যান্ডার্ডাইজড মডেল রিপ্রেজেন্টেশন ফরম্যাট যা বিভিন্ন AI ফ্রেমওয়ার্ক (PyTorch, TensorFlow, ইত্যাদি) এবং ইনফারেন্স রানটাইমগুলির মধ্যে ইন্টারঅপারেবিলিটি ermöglicht, এইভাবে বিভিন্ন হার্ডওয়্যার প্ল্যাটফর্মে ডেপ্লয়মেন্ট এবং অপ্টিমাইজেশন সহজ করে।
স্পার্স ট্রেনিং
একটি প্রশিক্ষণ প্যারাডাইম যেখানে মডেলের ওয়েটগুলির মাত্র একটি অংশ প্রতিটি ইটারেশনে আপডেট করা হয়, যা শেখার সময় একটি স্পার্স স্ট্রাকচার বজায় রাখতে দেয়, এইভাবে প্রশিক্ষণ ফেজ থেকেই কম্পিউটেশন এবং মেমরি প্রয়োজনীয়তা হ্রাস করে।
আর্কিটেকচার সার্চ (NAS)
একটি নির্দিষ্ট কাজের জন্য সর্বোত্তম মডেল আর্কিটেকচার ডিজাইন স্বয়ংক্রিয় করার প্রক্রিয়া, যেখানে সম্ভাব্য আর্কিটেকচারের স্পেস অন্বেষণ এবং পারফরম্যান্স-জটিলতার ভারসাম্য খুঁজে পেতে সার্চ অ্যালগরিদম (যেমন: রিইনফোর্সমেন্ট অপ্টিমাইজেশন, বিবর্তনীয় অ্যালগরিদম) ব্যবহার করা হয়।
মডেল প্রোফাইলিং
প্রশিক্ষণ বা ইনফারেন্সের সময় একটি মডেলের পারফরম্যান্সের বিশদ বিশ্লেষণ, প্রতিটি অপারেশন লেভেলে এক্সিকিউশন সময়, মেমরি ব্যবহার এবং বটলনেক পরিমাপ করা, যাতে অপ্টিমাইজেশনের জন্য অগ্রাধিকার লক্ষ্যগুলি চিহ্নিত করা যায়।
ব্যাচ নরমালাইজেশন ফোল্ডিং
প্রশিক্ষণের পরে প্রয়োগ করা অপ্টিমাইজেশন যা ব্যাচ নরমালাইজেশন লেয়ারের প্যারামিটার (গড় এবং ভ্যারিয়েন্স) পূর্ববর্তী কনভোলিউশনাল বা লিনিয়ার লেয়ারের ওজন এবং বায়াসে সংহত করে, ফলে ইনফারেন্সে নরমালাইজেশন গণনার প্রয়োজনীয়তা দূর হয় এবং লেটেন্সি হ্রাস পায়।
ডাইনামিক কম্পিউটেশন গ্রাফ
একটি পদ্ধতি যেখানে কম্পিউটেশন গ্রাফ প্রতিটি এক্সিকিউশনে চলতি অবস্থায় তৈরি হয়, যা কন্ডিশনাল মডেল স্ট্রাকচার (যেমন: আর্লি এক্সিট, রিকার্সিভ নেটওয়ার্ক) ermöglicht করে যেগুলো ইনপুটের উপর ভিত্তি করে অভিযোজিত হতে পারে এবং 'সহজ' উদাহরণগুলিতে কম্পিউটেশনাল রিসোর্স সাশ্রয় করতে পারে।