ট্রান্সফরমার অপ্টিমাইজেশন
জিরো রিডানডেন্সি অপ্টিমাইজার (ZeRO)
অপ্টিমাইজেশন ফ্রেমওয়ার্ক যা একাধিক GPU-তে অপ্টিমাইজার স্টেট, গ্রেডিয়েন্ট এবং প্যারামিটার বিতরণ করে, প্রশিক্ষণের সময় মেমরি রিডানডেন্সি দূর করে।
← ফিরে যান