قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
تقطير النموذج
طريقة ضغط حيث يتم تدريب نموذج كبير ومعقد (المعلم) على تدريب نموذج أصغر وأسرع (الطالب) على إعادة إنتاج مخرجاته، بما في ذلك الاحتمالات الناعمة، لنقل معرفته وتحقيق أداء قريب بتعقيد منخفض.
تحسين المعلمات الفائقة
عملية منهجية للبحث عن أفضل مزيج من المعلمات الفائقة (مثل: معدل التعلم، حجم الدفعة) لنموذج ما، غالبًا من خلال طرق مثل البحث الشبكي، البحث العشوائي، أو التحسين البايزي، لتحقيق أقصى قدر من الأداء على مجموعة بيانات معينة.
الضبط الدقيق
تقنية تكييف نموذج مُدرب مسبقًا على بيانات كبيرة لمهمة معينة بمواصلة التدريب على مجموعة بيانات أصغر وأكثر تحديدًا، مما يسمح بتحقيق أداء عالي ببيانات ووقت حساب أقل.
تحسين الاستنتاج
مجموعة من التقنيات تهدف إلى تقليل زمن الاستجابة والتكلفة الحسابية لمرحلة التنبؤ بنموذج في بيئة الإنتاج، بما في ذلك التكميم، والترجمة لمسرعات أجهزة محددة (TPU, GPU)، وتحسين الرسم البياني الحسابي.
ترجمة النموذج
عملية تحويل الرسم البياني الحسابي لنموذج، القادم من إطار عمل مثل TensorFlow أو PyTorch، إلى صيغة قابلة للتنفيذ عالية التحسين لجهاز هدف محدد (CPU, GPU, TPU)، بتطبيق عمليات دمج وتحسينات أخرى منخفضة المستوى.
دمج العمليات
تقنية ترجمة تدمج عدة عمليات أساسية في الرسم البياني الحسابي (مثل: التفاف يليه إضافة انحياز وتفعيل) في عملية نواة واحدة، مما يقلل من الحمل على الذاكرة ووصول الذاكرة لتسريع التنفيذ.
ONNX (تبادل الشبكات العصبية المفتوحة)
صيغة تمثيل نموذج مفتوحة ومعيارية تسمح بالتشغيل البيني بين أطر عمل مختلفة للذكاء الاصطناعي (PyTorch, TensorFlow, etc.) ومحيطات التنفيذ الاستنتاجي، مما يسهل النشر والتحسين على منصات أجهزة متنوعة.
التدريب المتفرق
نموذج تدريب حيث يتم تحديث جزء فقط من أوزان النموذج في كل تكرار، مما يسمح بالحفاظ على هيكل متفرق أثناء التعلم، مما يقلل من متطلبات الحوسبة والذاكرة منذ مرحلة التدريب.
البحث عن الهيكل (NAS)
عملية أتمتة تصميم هياكل النماذج المثلى لمهمة معينة، باستخدام خوارزميات البحث (مثل: التحسين بالتعزيز، الخوارزميات التطورية) لاستكشاف مساحة الهياكل الممكنة وإيجاد توازن بين الأداء والتعقيد.
تحليل أداء النموذج
تحليل مفصل لأداء النموذج خلال التدريب أو الاستنتاج، يقيس وقت التنفيذ واستخدام الذاكرة ونقاط الاختناق على مستوى كل عملية، بهدف تحديد الأهداف الأولية للتحسين.
طي تطبيع الدفعة
تحسين يتم تطبيقه بعد التدريب يدمج معلمات طبقة تطبيع الدفعة (المتوسط والتباين) في الأوزان والانحيازات للطبقة التلافيفية أو الخطية السابقة، مما يلغي الحاجة لحساب التطبيع أثناء الاستنتاج ويقلل زمن الاستجابة.
رسوم الحساب الديناميكية
نهج يتم فيه بناء رسم الحساب عند الطلب مع كل تنفيذ، مما يسمح بهياكل نماذج شرطية (مثل: الخروج المبكر، الشبكات العودية) التي يمكن تكييفها بناءً على الإدخال لتوفير موارد الحوسبة في الأمثلة 'السهلة'.