الانتباه المتفرق

الانتباه القائم على النواة

نهج يستخدم النوى لتقريب الانتباه softmax، مما يسمح بحسابات بتعقيد خطي عبر تقنيات مثل FAVOR+ (Fast Attention Via Positive Orthogonal Random Features).

← رجوع