قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
الضبط الدقيق منخفض الرتبة (LoRA)
طريقة لتكييف النموذج تجمد الأوزان المدربة مسبقًا وتحقن مصفوفات صغيرة قابلة للتحلل منخفضة الرتبة، مما يسمح بتكييف نموذج لغة كبير (LLM) بفعالية مع مهام جديدة باستخدام عدد قليل جدًا من المعلمات القابلة للتدريب.
التدريب بكفاءة المعلمات (PEFT)
نموذج تدريب يتضمن تعديل جزء ضئيل فقط من معلمات نموذج كبير مدرب مسبقًا، مما يجعل الضبط الدقيق متاحًا على الأجهزة الاستهلاكية مع الحفاظ على معرفة النموذج الأساسي.
التقليم الهيكلي
تقنية لتقليم النموذج تزيل مكونات كاملة ومتماسكة (رؤوس الانتباه، الخلايا العصبية، الطبقات) بدلاً من الأوزان الفردية، لتقليل الحجم الحسابي مع الحفاظ على بنية متوافقة مع مسرعات الأجهزة.
التدريب التدريجي للطبقات
استراتيجية تدريب يتم فيها إدخال وتفعيل طبقات النموذج بشكل تسلسلي، بدءًا من شبكة ضحلة وإضافة العمق تدريجيًا لتثبيت التعلم وتقليل متطلبات الموارد الأولية.
مُحسِّن فعال للذاكرة (Memory-Efficient Optimizer)
نوع من المُحسِّنات (مثل Adafactor أو 8-bit Adam) يقلل من استهلاك الذاكرة لحالات المُحسِّن، عن طريق تجنب تخزين اللحظات لجميع المعلمات، وهو أمر بالغ الأهمية لتدريب النماذج الكبيرة على وحدات معالجة الرسوميات (GPU) المحدودة.
نقطة فحص التدرج (Gradient Checkpointing)
تقنية لمقايضة الحساب بالذاكرة تتجنب حفظ التنشيطات الوسيطة أثناء التمرير الأمامي، لإعادة حسابها أثناء التمرير الخلفي، مما يقلل بشكل كبير من استخدام ذاكرة وحدة معالجة الرسوميات (GPU) على حساب زيادة وقت الحساب.
التعلم الذاتي الإشراف على مجموعات البيانات الخام
نهج ما قبل التدريب يستفيد من كميات هائلة من البيانات النصية غير المصنفة عن طريق إنشاء مهام تنبؤ جوهرية (مثل إخفاء الكلمات)، مما يسمح ببناء أسس للنموذج دون الاعتماد على بيانات مشروحة مكلفة.
ضبط التعليمات بالأزواج (Instruction Tuning by Pairs)
طريقة للضبط الدقيق تستخدم أزواجًا من الأمثلة (تعليمات، مخرجات مرغوبة) لمواءمة النموذج مع مجموعة متنوعة من المهام، مما يحسن قدرته على اتباع التوجيهات باستخدام عدد محدود من البيانات التوضيحية.
تقليم رؤوس الانتباه
تخصص في التقليم يحدد ويزيل رؤوس الانتباه في آليات المحولات (Transformer) التي تساهم بأقل قدر في أداء النموذج، مما يقلل من التعقيد الحسابي لطبقة الانتباه الذاتي.
تقطير المعرفة متعدد المهام
نسخة من التقطير حيث يتعلم نموذج طالب واحد محاكاة مخرجات مجموعة من النماذج المعلمة المتخصصة في مهام مختلفة، وبالتالي يكتسب تعددية استخدامات بتكلفة حسابية منخفضة.
التدريب على البيانات الاصطناعية
استراتيجية تتضمن توليد كميات كبيرة من بيانات التدريب (نصوص، أزواج سؤال-جواب) بشكل اصطناعي باستخدام نموذج لغوي كبير (LLM) قوي، ثم تدريب أو تحسين نموذج أصغر، مما يقلل الاعتماد على البيانات الحقيقية.
تحسين الذاكرة عن طريق تفريغ التنشيطات
تقنية تنقل التنشيطات الوسيطة من ذاكرة وحدة معالجة الرسوميات (GPU) السريعة إلى ذاكرة وحدة المعالجة المركزية (CPU) الأبطأ (أو القرص) أثناء التدريب، مما يسمح بتشغيل نماذج أكبر مما تسمح به سعة وحدة معالجة الرسوميات عادةً.
الضبط عن طريق تكييف البادئة (Prefix-Tuning)
طريقة PEFT تتضمن تدريب مسبق فقط لمتجه صغير من رموز البادئة (prefix tokens) المضافة كمدخل لكل طبقة من طبقات المحول (Transformer)، لتوجيه سلوك النموذج المجمد لمهمة محددة بتكلفة لا تذكر.
التدريب بتجميع التدرج
عملية تحاكي حجم دفعة (batch size) أكبر عن طريق تجميع التدرجات (gradients) على عدة تمريرات أمامية بدفعات صغيرة، قبل إجراء خطوة واحدة لتحديث الأوزان، متجاوزة بذلك قيود ذاكرة وحدة معالجة الرسوميات (GPU).
ضغط المفردات
تقنية تقلل من حجم طبقة التضمين (embedding layer) عن طريق دمج الرموز النادرة أو المتقاربة دلاليًا، مما يقلل من عدد المعلمات والذاكرة المطلوبة لتخزين تمثيلات الكلمات للنموذج.
الضبط الدقيق بالخصوم (Adversarial Tuning)
نهج يستخدم نموذجًا خصومًا لتوليد أمثلة صعبة أو هجمات، بهدف تدريب نموذج طالب ليكون أكثر قوة وأداءً ببيانات أقل من خلال التركيز على الحالات الهامشية.