قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
التكميم بعد التدريب (PTQ)
تقنية لتخفيض الدقة تُطبق على نموذج مدرب مسبقاً دون الحاجة إلى إعادة تدريب كاملة. تقوم بتحويل الأوزان والتفعيلات عالية الدقة (مثل FP32) إلى تمثيلات ذات دقة أقل (مثل INT8) لتحسين الاستدلال.
التكميم الواعي للتدريب (QAT)
طريقة يتم فيها دمج عمليات التكميم وإزالة التكميم في الرسم البياني الحسابي أثناء التدريب. هذا يسمح للنموذج بالتكيف مع فقدان الدقة، مما يقلل من تدهور الأداء مقارنة بـ PTQ.
ثنائية الشبكات العصبية (BNN)
شكل متطرف من التكميم حيث يتم تقييد الأوزان و/أو التفعيلات إلى قيمة ثنائية واحدة (+1 أو -1). تتيح مكاسب حسابية وذاكرة كبيرة عن طريق استبدال عمليات الضرب بعمليات الجمع/الطرح.
التقليم المنظم (Structured Pruning)
تقنية ضغط تقوم بإزالة هياكل كاملة من الأوزان، مثل المرشحات أو القنوات أو رؤوس الانتباه، بدلاً من الأوزان الفردية. وهي أكثر فعالية لتسريع الحساب على الأجهزة الحديثة من التقليم غير المنظم.
التقليم غير المنظم (Unstructured Pruning)
طريقة ضغط تقوم بإزالة الأوزان الفردية في الشبكة، عادة تلك ذات المقدار الأصغر. على الرغم من قدرتها على تقليل حجم النموذج، إلا أنها تتطلب دعم أجهزة متخصصة (التفرقة) لتسريع الحساب.
تحليل المصفوفة ذات الرتبة المنخفضة
تقنية ضغط تقوم بتحليل مصفوفة أوزان كبيرة إلى مصفوفتين أو أكثر أصغر حجماً. تقلل عدد المعلمات وعمليات ضرب المصفوفات، مما يسرع الطبقات الكثيفة والتلافيفية.
تقطير المعرفة (Knowledge Distillation)
عملية ضغط حيث يتم تدريب نموذج صغير
ترميز هوفمان للأوزان
طريقة ضغط بدون فقدان تطبق خوارزمية ترميز هوفمان على أوزان النموذج. تعين رموزاً ثنائية أقصر للأوزان الأكثر تكراراً، مما يقلل حجم الملف على القرص دون التأثير على سرعة الاستدلال.
مشاركة الأوزان
تقنية ضغط تجمع الأوزان في مجموعات وتستبدل كل وزن بمؤشر مركز مجموعته. هذا يقلل عدد البتات اللازمة لتخزين كل وزن ويسمح باستخدام جداول البحث أثناء الاستدلال.
تحلل تاكر
شكل من أشكال التحلل الموتر يُطبق على موترات الأوزان (الالتواءات رباعية الأبعاد) لضغطها. يحلل الموتر إلى نواة مركزية أصغر ومصفوفات عوامل، مما يقلل بشكل كبير عدد المعلمات والتكلفة الحسابية.
تحلل CP (CANDECOMP/PARAFAC)
طريقة تحلل موتر تعبر عن الموتر كمجموع منتجات متجهات من الرتبة الأولى. تُستخدم لضغط الطبقات الالتفافية بتقريب موتر الأوزان بعدد مخفض من المكونات.
شبكة عصبية بسمك متغير
هندسة نموذج يمكن فيها أن يختلف عدد القنوات النشطة في كل طبقة ديناميكيًا بناءً على قيود الموارد. تتيح مقايضة مرنة بين الدقة والتكلفة الحسابية أثناء التنفيذ.
التكميم القطاعي
تقنية تقسم موترات الأوزان أو التنشيطات إلى كتل أصغر وتطبق تكميماً مستقلاً على كل كتلة. تتيح التقاط تباينات الحجم المحلية بشكل أفضل، مما يقلل الخطأ الكلي للتكميم.
تمثيل رقمي بالفاصلة العائمة 8 بت
تنسيق بيانات منخفض الدقة يستخدم 8 بت لتمثيل الأرقام ذات الفاصلة العائمة، مع متغيرات مختلفة (E4M3, E5M2) للتدريب والاستدلال. يقدم مقايضة أفضل من التنسيقات الصحيحة لبعض أحمال عمل الذكاء الاصطناعي.
التهشير الهيكلي N:M
مخطط تقليم حيث يتم الاحتفاظ بـ N وزن بالضبط من كل كتلة M وزن (N < M). هذا النمط المنتظم مصمم ليتم تسريعه بكفاءة بواسطة وحدات حساب المصفوفات المتخصصة (Tensor Cores) في وحدات معالجة الرسومات الحديثة.