قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
التكميم المتطرف
تقنية لتقليل الدقة تدفع معلمات النموذج إلى 1-2 بت لتحقيق أقصى قدر من الضغط، مع التضحية جزئياً بالدقة لصالح الكفاءة.
التكميم الثنائي
طريقة تكميم يتم فيها تمثيل كل وزن وتفعيل بواسطة بت واحد (-1 أو +1)، مما يقلل الذاكرة بشكل كبير ويسرع العمليات الحسابية.
التكميم الثلاثي
تقنية تستخدم ثلاث قيم عادة (-1، 0، +1) لتمثيل الأوزان، مما يوفر توازناً أفضل بين الضغط والأداء مقارنة بالثنائية البحتة.
التكميم 1-بت
شكل متطرف من أشكال التكميم يتم فيه تخزين كل معامل من معاملات النموذج في بت واحد، مما يسمح بتقليل حجمه بمقدار 32 مرة مقارنة بالنماذج القياسية 32-بت.
التكميم 2-بت
تمثيل الأوزان والتنشيطات على بتين، مما يسمح بأربعة مستويات من التكميم (-3، -1، +1، +3) مع توازن أفضل بين الدقة والكفاءة.
ثنائية الأوزان
عملية تحويل أوزان الشبكة العصبية إلى قيم ثنائية مع الحفاظ على التنشيطات بدقة أعلى للحفاظ على الأداء.
التكميم المتطرف بعد التدريب
تقنية تُطبق بعد التدريب لتقليل دقة المعلمات إلى 1-2 بت دون الحاجة إلى إعادة تدريب كاملة للنموذج.
التكميم الواعي بالتكميم المتطرف
طريقة متقدمة تأخذ في الاعتبار تأثير التكميم المتطرف أثناء عملية المعايرة لتقليل تدهور الأداء.
التكميم مع التعلم المتطرف
نهج يتم فيه ضبط النموذج بدقة للتكيف مع قيود التكميم المتطرف، مما يحافظ بشكل أفضل على الدقة النهائية.
الشبكة العصبية الثنائية
بنية تكون فيها الأوزان والتنشيطات ثنائية بالكامل، وتستخدم عمليات XNOR وpopcount للحصول على حسابات فائقة التحسين.
الشبكة العصبية الثلاثية
متغير من الشبكات الثنائية يستخدم ثلاث حالات، مما يسمح بتعبيرية أفضل مع الحفاظ على ضغط قوي وكفاءة حسابية.
التكميم غير المتماثل المتطرف
طريقة تكميم 1-2 بت تستخدم نطاقات قيم غير متماثلة للتكيف بشكل أفضل مع توزيعات الأوزان غير المتمركزة.
التكميم المتماثل المتطرف
نهج تكميم تكون فيه نطاقات القيم متمركزة حول الصفر، مما يبسط الحسابات ولكنه قد يكون أقل كفاءة لبعض التوزيعات.
ضغط النموذج عن طريق التكميم المتطرف
تقنية شاملة تجمع بين التكميم المتطرف وطرق الضغط الأخرى لتحقيق معدلات ضغط تزيد عن 100 مرة.
تحسين الدقة الدنيا
عملية تهدف إلى تحديد الحد الأدنى للدقة بالبتات المطلوبة لكل طبقة من طبقات النموذج مع الحفاظ على مستوى أداء مقبول.
المعايرة للتكميم المتطرف
مرحلة حرجة يتم فيها تحسين معاملات التكميم باستخدام مجموعة بيانات صغيرة لتقليل تأثير الحد الشديد من الدقة.
التكميم التكيفي المتطرف
تقنية تقوم بضبط مستوى التكميم (1 أو 2 بت) ديناميكيًا لكل طبقة أو لكل خلية عصبية بناءً على حساسيتها لتقليل الدقة.
استقرار التكميم المتطرف
خاصية تقيس متانة النموذج أمام التكميم المتطرف، وهي ضرورية لضمان أداء موثوق عند النشر.