قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
النموذج المعلم
نموذج عصبي كبير ومعقد تم تدريبه مسبقًا والذي يعمل كمصدر للمعرفة لتدريب نموذج أكثر إحكامًا من خلال عملية التقطير.
النموذج الطالب
نموذج عصبي صغير الحجم يتعلم محاكاة سلوك النموذج المعلم، مستفيدًا من تعميماته مع كونه أكثر كفاءة من حيث الحساب.
الأهداف الناعمة
احتمالات المخرجات من النموذج المعلم قبل تطبيق دالة argmax، تحتوي على معلومات حول العلاقات بين الفئات التي لا تلتقطها العناوين الصلبة.
ضبط درجة الحرارة
تقنية تعديل اللوغاريتمات عن طريق القسمة على معامل درجة الحرارة لتليين توزيع الاحتمالات وكشف العلاقات بين الفئات أثناء التقطير.
الأهداف الصلبة
علامات الحقيقة التقليدية (المشفرة بطريقة one-hot) المستخدمة مع الأهداف الناعمة للحفاظ على دقة التنبؤات أثناء التقطير.
المعرفة المظلمة
معلومات دقيقة موجودة في احتمالات مخرجات النموذج المعلم تكشف عن التشابهات بين الفئات غير الموجودة في العناوين الصلبة.
خسارة التقطير
دالة خسارة مركبة تقيس في نفس الوقت الاختلاف بين التنبؤات الناعمة للطالب والمعلم، والدقة بالنسبة للعلامات الصلبة.
تقطير الميزات
متغير من التقطير حيث يتعلم الطالب إعادة إنتاج التمثيلات المتوسطة (الميزات) للمعلم بدلاً من التنبؤات النهائية فقط.
التقطيب المعرفي العلائقي
نهج يتعلم فيه الطالب العلاقات الهيكلية بين عينات التدريب التي يحافظ عليها المعلم، يتجاوز التنبؤات الفردية.
التقطيب المعرفي الذاتي
تقنية يقوم فيها النموذج بتقطيب نفسه باستخدام معرفاته الخاصة في مراحل تدريب مختلفة أو فروع مختلفة لتحسين أدائه.
التقطيب متعدد المعلمين
استراتيجية تستخدم نماذج معلمين متعددة لنقل معرفات متنوعة إلى طالب واحد، تجمع بين خبراتهم المختلفة.
التقطيب عبر الإنترنت
طريقة يتم فيها تدريب نماذج المعلمين والطلاب بشكل متزامن، مما يسمح بنقل معرفات ديناميكي وتكيفي خلال عملية التعلم.
التقطيب المعرفي بدون أمثلة
نهج يسمح بتقطيب معرفات المعلم دون الحاجة إلى بيانات تدريب، باستخدام أوزان النموذج المدرب مسبقاً فقط.
التقطيب القائم على الانتباه
تقنية محددة يتعلم فيها الطالب إعادة إنشاء خرائط الانتباه الخاصة بالمعلم، مما ينقل المعرفة حول الأجزاء الهامة من بيانات الإدخال.
التقطيب المعرفي الهيكلي
طريقة تحافظ على الهيكل والبنية المعمارية للمعلم في الطالب، وتحافظ على العلاقات بين الطبقات وتدفقات المعلومات الأصلية.
التقطيب المعرفي التدريجي
استراتيجية متعددة المراحل حيث يخدم نموذج وسيط كمعلم للطالب النهائي، مما يسمح بانتقال سلس للمعرفة.
تنقية المعرفة
عملية تصفية المعرفة الضوضائية أو غير الصحيحة من المعلم قبل التقطير، مما يضمن نقل معرفة عالية الجودة إلى الطالب.
تقطير المعرفة غير المتجانس
نهج حيث يكون للمعلم والطالب معمارية مختلفة (مثل CNN إلى Transformer)، مما يتطلب تقنيات تكيف محددة لنقل المعرفة.