قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
ALiBi (الانتباه مع التحيزات الخطية)
طريقة بديلة للترميز الموضعي التقليدي تضيف تحيزات خطية إلى درجات الانتباه بناءً على المسافة بين المواضع، مما يسمح بعمل استقراء أفضل لتسلسلات أطول.
التحيز الموضعي
مصطلح جمعي أو ضربي يُطبق على درجات الانتباه لمراعاة العلاقات الموضعية بين الرموز في آليات الانتباه.
تضمين موضع التسلسل
تمثيل متجهي يرمز بشكل صريح إلى موضع كل عنصر في تسلسل، مما يسمح للنموذج بفهم الترتيب التسلسلي للبيانات.
الترميز الزمني
متغير من الترميز الموضعي صُمم خصيصاً لالتقاط التبعيات الزمنية في البيانات التسلسلية الزمنية، ويدمج مفاهيم الوقت والمدة.
الترميز الموضعي المستمر
طريقة ترميز تسمح بتمثيلات موضعية مستمرة، قادرة على الاستيفاء بين المواضع المنفصلة والتعامل مع المواضع الكسرية.
الترميز الموضعي الثابت
نوع من الترميز الموضعي تكون فيه التضمينات محددة مسبقاً ولا يتم تعديلها أثناء التدريب، وتستند إلى صيغ رياضية ثابتة مثل الدوال الجيبية.
الترميز الموضعي التكيفي
نهج للترميز الموضعي يتكيف ديناميكياً مع طول تسلسل الإدخال، مما يسمح بتعميم أفضل على أطوال التسلسلات المتغيرة.
الاستيفاء الموضعي
تقنية لتكييف النماذج المدربة مسبقاً مع تسلسلات أطول من خلال الاستيفاء الخطي للتضمينات الموضعية الموجودة بدلاً من استقراء تضمينات جديدة.
الاستيفاء الموضعي المدرك لـ NTK
متغير محسن من الاستيفاء الموضعي يحافظ على خصائص التحويل غير المنتظم لفورييه (NTK) للحفاظ بشكل أفضل على المعلومات عالية التردد.
xPOS (الترميز الموضعي القابل للتحجيم)
طريقة للترميز الموضعي تستخدم تحجيمًا أسيًا للالتقاط بشكل أفضل للتبعيات طويلة المدى مع الحفاظ على معلومات الموقع المحلية.
تحيز الموضع النسبي لـ T5
تطبيق محدد لتحيز الموضع النسبي يُستخدم في نموذج T5، حيث يتم تعلم التحيزات لمسافات نسبية مختلفة بين الرموز (tokens) في درجات الانتباه.
الترميز الموضعي لـ Transformer-XL
آلية ترميز موضعي متكررة تسمح بنمذجة التبعيات طويلة المدى عن طريق إعادة استخدام الحالات المخفية للأجزاء السابقة مع ترميز موضعي نسبي.