قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
التكميم
عملية تقليل الدقة العددية للأوزان والتفعيلات في نموذج الذكاء الاصطناعي لتحسين الاستدلال وتقليل البصمة الذاكرية.
التكميم 8-بت
تقنية ضغط تقلل أوزان النموذج من 32 بت إلى 8 بت، تقدم توازنًا مثاليًا بين الأداء والدقة لنماذج اللغة الكبيرة.
التكميم 4-بت
طريقة ضغط متطرفة تقلل الأوزان إلى 4 بت، تتيح مكاسب كبيرة في الذاكرة ولكن مع فقدان محتمل في الجودة.
التكميم بعد التدريب (PTQ)
تقنية تُطبق بعد تدريب النموذج، تحول الأوزان إلى دقة مخفضة دون الحاجة إلى إعادة تدريب كاملة.
التدريب الواعي بالتكميم (QAT)
نهج تدريب يحاكي تأثيرات التكميم أثناء عملية التعلم لتقليل فقدان الدقة.
التكميم الديناميكي
طريقة تُطبق أثناء الاستدلال حيث يتم تكميم التفعيلات على الفور، تقدم مرونة ولكن مع عبء حسابي إضافي.
التكميم الثابت
نهج يحسب معلمات التكميم مسبقًا قبل الاستدلال، يحسن السرعة على حساب المرونة.
معايرة التكميم
عملية تحديد المعلمات المثلى للتكميم (المقياس، نقطة الصفر) من عينة بيانات تمثيلية.
GPTQ
التكميم اللاحق للتدريب القائم على التدرج، تقنية متقدمة تحسن تكرارياً الأوزان المكممة لتقليل خطأ إعادة البناء.
AWQ
تكميم الأوزان المستند إلى التنشيط، طريقة تزن أهمية الأوزان وفقاً لسعة التنشيطات المقابلة.
التكميم بدون عينات
تقنية لا تتطلب أي بيانات معايرة، تستخدم إرشادات قائمة على توزيع الأوزان لتكميم النموذج.
التكميم بدقة مختلطة
إستراتيجية تطبق دقات تكميم مختلفة حسب طبقات النموذج لتحسين التوازن بين الأداء والدقة.
التكميم المتماثل
مخطط تكميم حيث نطاق القيم متمركز حول الصفر، يبسط الحسابات لكنه قد يستغل نطاق الديناميكية بشكل غير كامل.
التكميم غير المتماثل
نهج يسمح بنطاقات قيم غير متمركزة حول الصفر، يحسن استخدام النطاق المكمم للتوزيعات غير المتماثلة.
عامل القياس
معامل مضاعف يستخدم لتعيين القيم المستمرة في النطاق المكمم، حاسم لدقة التكميم.
نقطة الصفر
إزاحة تضاف أثناء التكميم غير المتماثل لمحاذاة القيمة صفر في الفاصلة العائمة مع التمثيل المكمم.
ضوضاء التكميم
خطأ ناتج عن تقليل الدقة، يظهر كتدهور في أداء النموذج بسبب تقريب الأوزان.
ضبط دقيق واعٍ بالتكميم
عملية تعديل طفيف بعد التكميم تهدف إلى استعادة الدقة المفقودة أثناء ضغط النموذج.
SmoothQuant
تقنية تكميم تعادل صعوبة التكميم بين الأوزان والتفعيلات من خلال تحويل رياضي مسبق.
LLM.int8()
طريقة تكميم 8 بت محددة لنماذج اللغة الكبيرة، تجمع بين تحلل المصفوفة والتكميم الهجين.