এআই গ্লসারি

📖

শব্দ

এফএসডিপি (ফুলি শার্ডেড ডেটা প্যারালেল)

ডেটা প্যারালেলের একটি সম্প্রসারণ যেখানে প্যারামিটার, গ্রেডিয়েন্ট এবং অপ্টিমাইজার স্টেটগুলি সম্পূর্ণরূপে প্রসেসর জুড়ে শেয়ার করা হয় (শার্ডেড) যাতে প্রতি জিপিইউতে মেমরি ফুটপ্রিন্ট কমানো যায়।

📖

শব্দ

ডিস্ট্রিবিউটেড ডেটা প্যারালেল (ডিডিপি)

একাধিক জিপিইউতে দক্ষতার সাথে প্রশিক্ষণ স্কেল করার জন্য অপ্টিমাইজড কমিউনিকেশন এবং অ্যাসিঙ্ক্রোনাস সিঙ্ক্রোনাইজেশন ব্যবহার করে পাইটর্চের ডেটা প্যারালেল বাস্তবায়ন।