قاموس الذكاء الاصطناعي

القاموس الكامل للذكاء الاصطناعي

227

الفئات

2,955

الفئات الفرعية

34,512

المصطلحات

تقنية تنظيمية تعمل على استقرار التدريب عن طريق تطبيع تنشيطات كل طبقة، وتُطبق قبل أو بعد الطبقات الفرعية للانتباه والتغذية الأمامية.

إجراء يمنع المواقع من الانتباه إلى الرموز المستقبلية أثناء فك التشفير التلقائي الانحدار، و/أو لمعالجة رموز الحشو في التسلسلات ذات الأطوال المتغيرة.

تحويل خطي لتضمينات الإدخال إلى ثلاث مصفوفات مميزة (Q, K, V) تُستخدم لحساب أوزان الانتباه وفقًا للصيغة softmax(QK^T/√d_k)V.

طريقة ترميز موضعي تستخدم دوال جيبية بترددات مختلفة، مما يسمح للنموذج بالاستقراء إلى أطوال تسلسل غير مرئية.

متغير من محولات Transformer يستخدم فقط مكدس المشفرات، مصمم لمهام الفهم مثل التصنيف أو تحليل المشاعر (مثال: BERT).

متغير من محولات Transformer يستخدم فقط مكدس المفككات مع إخفاء سببي، مُحسّن لتوليد النصوص التلقائي الانحدار (مثال: GPT).

التعقيد الحسابي والذاكرة O(n²) للانتباه القياسي بالنسبة لطول التسلسل n، وهو القيد الرئيسي لمحولات Transformer.

🔍