محولات فعّالة

المُرَكِّب

متغير يتم فيه تعلم أوزان الانتباه مباشرة من تضمينات الموضع أو إنشاؤها بواسطة شبكات صغيرة، دون الاعتماد على محتوى التوكنات. تلغي هذه الطريقة الحاجة إلى عمليات حساب التشابه QK.

← رجوع