قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
محول
هندسة شبكة عصبية تم إدخالها في عام 2017 تستخدم حصراً آليات الانتباه لمعالجة تسلسلات البيانات، مما أحدث ثورة في مجال معالجة اللغات الطبيعية.
GPT (محول مولد مسبق التدريب)
عائلة من نماذج اللغة ذاتية الانحدار التي طورتها OpenAI، والتي يتم تدريبها مسبقاً على مجموعات نصية ضخمة ثم يتم ضبطها بدقة لمهام محددة.
آلية الانتباه
تقنية تسمح للنماذج بوزن أهمية كل جزء من المدخل بشكل مختلف عند إنشاء كل عنصر من عناصر المخرجات، مما يحسن التماسك السياقي.
درجة الحرارة
معلمة تتحكم في درجة العشوائية في توليد النص: درجة الحرارة المنخفضة تنتج نصوصاً أكثر قابلية للتنبؤ، والمرتفعة تزيد من الإبداع ولكنها تقلل من التماسك.
أخذ العينات من أعلى k
طريقة أخذ العينات التي تحدد اختيار الـ token التالي لأعلى k tokens المحتملة، موازنة بين التنوع والجودة في التوليد.
أخذ العينات النووي (أعلى p)
تقنية أخذ عينات تكيفية تختار أصغر مجموعة من tokens whose cumulative probability exceeds a threshold p, ensuring variable coherence depending on the context.
الارتباك
مقياس يقوم بتقييم جودة نموذج اللغة عن طريق قياس قدرته على التنبؤ بعينة من النص، مع القيم الأدنى تشير إلى توقعات أفضل.
مقياس ROUGE
مجموعة من المقاييس التي تقيس جودة الملخص التلقائي من خلال مقارنة الـ n-grams المُنشأة مع تلك الموجودة في المراجع، وتستخدم بشكل أساسي لمهام التلخيص.
هندسة الأوامر
الفن والعلم في تصميم التعليمات المثالية لإرشاد نماذج اللغة نحو المخرجات المرغوبة، مع الاستفادة القصوى من قدراتها دون تعديل تقني.
تحفيز سلسلة التفكير
تقنية تحفيز تشجع النموذج على توليد التفكير خطوة بخطوة قبل تقديم الإجابة النهائية، مما يحسن حل المشاكل المعقدة.
التعلم المعزز من التغذية الراجعة البشرية
منهجية لمواءمة نماذج اللغة باستخدام التعزيز مع مكافآت مبنية على تقييمات بشرية لتحسين السلوكيات المرغوبة.
النموذج الذاتي التراجعي
نوع من النماذج يقوم بتوليد النص رمزاً تلو الآخر عن طريق تكييف كل تنبؤ جديد مع كل الرموز التي تم توليدها سابقاً، مما يسمح بالإنشاء التسلسلي المتماسك.
تخزين نقاط التدرج
تقنية تحسين الذاكرة تقلل من بصمة RAM عن طريق إعادة حساب بعض عمليات التنشيط أثناء الانتشار الخلفي، مما يسمح بتدريب نماذج أكبر حجماً.