قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
محاذاة الرموز
العملية التي يتعلم من خلالها الانتباه المتقاطع محاذاة الرموز أو المقاطع المهمة تلقائيًا بين تسلسلين بأطوال أو هياكل مختلفة. أمر بالغ الأهمية لمهام الترجمة حيث لا تكون المراسلات ثنائية الاتجاه.
الانتباه المتقاطع المتناثر
تحسين للانتباه المتقاطع يحد من الاتصالات الانتباهية إلى مجموعات فرعية محددة مسبقًا أو تم تعلمها من المواضع ذات الصلة. يقلل التعقيد الحسابي من O(n²) إلى O(n log n) أو O(n) للتسلسلات الطويلة.
الانتباه المتقاطع بالموضع النسبي
امتداد للانتباه المتقاطع يدمج معلومات الموضع النسبي بين عناصر التسلسلين بدلاً من المواضع المطلقة. يحسن التعميم على أطوال التسلسلات التي لم يتم رؤيتها أثناء التدريب.
الانتباه المتقاطع التكيفي
آلية انتباه تقوم بتعديل تركيزها ديناميكيًا بناءً على السياق أو الحالة الداخلية للنموذج. يسمح بتخصيص مرن لموارد الانتباه وفقًا لتعقيد أو أهمية المناطق بين التسلسلات.
تجميع الانتباه المتقاطع
تقنية تجميع تستخدم الانتباه المتقاطع لوزن ودمج ميزات تسلسل الهدف بشكل انتقائي بناءً على تسلسل الاستعلام. تولد تمثيلات عالمية مستنيرة بالسياق للتصنيف أو الانحدار.
الانتباه المتقاطع الثنائي
بنية متماثلة تطبق الانتباه المتقاطع في كلا الاتجاهين بين تسلسلين، مما يسمح بتفاعل ثنائي الاتجاه كامل. تُستخدم في المهام التي تتطلب محاذاة متبادلة مثل إعادة الصياغة أو المطابقة الدلالية.
تنظيم الانتباه المتقاطع
تقنيات قيد تُطبق على أوزان الانتباه المتقاطع لتشجيع خصائص مرغوبة مثل التشتت، أو التنوع، أو الاتساق الزمني. تحسن قابلية تفسير النموذج وتعميمه.
الانتباه المتقاطع المعزز بالذاكرة
امتداد للانتباه المتقاطع يدمج ذاكرة خارجية أو مستمرة يمكن الوصول إليها عبر آليات الانتباه. يسمح بتخزين واسترجاع المعلومات بما يتجاوز النافذة السياقية المباشرة للمهام طويلة المدى.