Optimisation de Modèles

ইনফারেন্স অপ্টিমাইজেশন

প্রডাকশন ফেজে একটি মডেলের প্রেডিকশনের লেটেন্সি এবং কম্পিউটেশনাল খরচ কমানোর লক্ষ্যে কৌশলগুলির সমষ্টি, যার মধ্যে কোয়ান্টাইজেশন, নির্দিষ্ট হার্ডওয়্যার এক্সিলারেটর (TPU, GPU) এর জন্য কম্পাইলেশন এবং কম্পিউটেশন গ্রাফ অপ্টিমাইজেশন অন্তর্ভুক্ত।

← ফিরে যান