BERT ومتغيراته

ديبرتا (DeBERTa)

تحسين لـ BERT يدمج فك التشفير المحسن مع الانتباه إلى المحتوى والموضع المفكك. يستخدم آلية انتباه مفككة وقناعًا محسّنًا للحجم للحصول على أداء أفضل.

← رجوع