الانتباه المتفرق

Random Attention

نهج حيث يجذب كل توكن الانتباه بشكل عشوائي على مجموعة فرعية من التوكنات البعيدة، محافظاً على الاتصالات طويلة المدى بتكلفة حسابية منخفضة.

← رجوع