قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
قوانين القياس
مبادئ رياضية تصف كيف تتحسن أداء نماذج التعلم العميق بشكل متوقع مع زيادة حجم النموذج والبيانات والحوسبة.
قياس قانون القوة
علاقة رياضية حيث يتبع أداء النموذج قانون القوة بناءً على عوامل مثل حجم النموذج وعدد المعلمات أو كمية البيانات.
قوانين قياس تشينشيلا
قوانين قياس محددة اكتشفتها DeepMind تشير إلى أن النماذج الحالية غير مدربة بما يكفي وأن البيانات أكثر أهمية مما كان متوقعًا لتحسين الأداء.
قياس الحوسبة الأمثل
استراتيجية التخصيص الأمثل لموارد الحوسبة بين حجم النموذج وكمية بيانات التدريب لتعظيم الأداء بميزانية ثابتة.
قوانين قياس البيانات
مبادئ تصف كيف تؤثر زيادة كمية بيانات التدريب على أداء النموذج، غالبًا بعلاقة قوة مع تشبع.
قياس حجم النموذج
دراسة تطور قدرات النموذج بناءً على عدد المعلمات، تكشف عن تحسينات متوقعة حتى نقاط تشبع معينة.
قياس الرموز
تحليل تأثير عدد رموز التدريب على أداء النموذج، أساسي لتحديد الكمية المثلى من البيانات النصية.
القدرات الناشئة
قدرات تظهر فجأة في النماذج الكبيرة عند مقاييس حرجة معينة، دون أن تكون موجودة في النماذج الأصغر من نفس العائلة.
التحولات الطورية
تغيرات مفاجئة في سلوك أو أداء النموذج تحدث عند عتبات حجم أو بيانات محددة.
قوانين التحجيم العصبية
إطار نظري عام يوحد الملاحظات التجريبية حول تحجيم الشبكات العصبية عبر البنى والمهام المختلفة.
قوانين تحجيم كابلان
أول قوانين تحجيم تجريبية أنشأها OpenHub، تُظهر علاقات قوة بين حجم النموذج والبيانات والأداء.
منحنيات IsoFLOP
منحنيات أداء بميزانية FLOP ثابتة تتيح مقارنة البنى أو استراتيجيات التدريب المختلفة بتكلفة حسابية متساوية.
الحجم الحرج للدفعة
الحجم الأمثل للدفعة الذي بعده لا ينتج الزيادة الإضافية تحسينات كبيرة في سرعة التدريب.
الهبوط المزدوج
ظاهرة حيث يقل خطأ الاختبار، يزيد ثم يقل مرة أخرى مع تجاوز حجم النموذج نقطة الاستيفاء للبيانات.
الفهم المفاجئ
ظاهرة تكتسب فيها النماذج فجأة فهماً قابلاً للتعميم بعد فترة طويلة من الإفراط في التدريب الظاهري.
التقليل المراعي للحدة
تقنية تحسين تبحث عن حد أدنى مسطح في مشهد الخسارة، مهمة بشكل خاص لاستقرار النماذج الكبيرة.
توسيع الخسارة
التنبؤ بتطور دالة الخسارة بناءً على الموارد المخصصة، مما يسمح بتقدير الأداء قبل التدريب.
هضاب الأداء
مراحل من الركود في تحسين الأداء على الرغم من زيادة الموارد، مما يشير إلى حدود في قوانين التوسع الحالية.
أس التوسع
معامل حاسم في قوانين القوة يحدد سرعة تحسين الأداء بالنسبة لزيادة الموارد.
معامل التوسع
ثابت مضاعف في معادلات التوسع يحدد مستوى الأداء الأساسي قبل تطبيق تأثيرات القياس.