قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
تكميم التدرج
طريقة ضغط تقلل الدقة الرقمية للتدرجات (مثل: من 32 بت إلى 8 بت) قبل الإرسال لتقليل حجم البيانات المتبادلة. غالبًا ما تتطلب تقنيات تعويض للحفاظ على استقرار التدريب.
التخفيفية
عملية إزالة قيم التدرج التي تعتبر غير ذات أهمية (قريبة من الصفر) قبل الإرسال، مما يقلل بشكل كبير من حجم الاتصال. غالبًا ما تُدمج مع تقنيات التجميع المحلي للحفاظ على المعلومات الهامة.
تخفيفية أعلى k
نسخة من التخفيفية تحتفظ فقط بقيم التدرج k الأكثر أهمية من حيث الحجم، مما يضمن نسبة ضغط ثابتة. تتطلب آليات مزامنة إضافية للحفاظ على الاتساق بين العقد.
تداخل الاتصال والحساب
استراتيجية تحسين تخفي زمن انتقال الشبكة عن طريق تنفيذ الحسابات المحلية وعمليات نقل البيانات بين العقد في وقت واحد. ضروري للحفاظ على وحدات معالجة الرسوميات (GPUs) نشطة خلال مراحل اتصال الشبكة.
الواجهة الخلفية للاتصال
طبقة تجريد تدير اتصالات الشبكة في الأطر الموزعة، مما يسمح بالتبديل بين تطبيقات مختلفة (MPI, NCCL, Gloo). تؤثر بشكل مباشر على أداء النظام الموزع.
تحسين عرض النطاق الترددي
مجموعة من التقنيات التي تهدف إلى زيادة استخدام عرض النطاق الترددي المتاح للشبكة (الضغط، التجميع، الترتيب). حاسمة للأنظمة ذات قابلية التوسع العالية حيث يصبح الاتصال هو العامل المحدد.
إخفاء زمن الانتقال
استراتيجيات تهدف إلى إخفاء أوقات انتظار الشبكة عن طريق الحساب المفيد أو عمليات نقل البيانات المتوقعة. أساسي للحفاظ على كفاءة الأنظمة الموزعة في مواجهة أزمنة الانتقال غير القابلة للضغط للشبكة.