BERT ومتغيراته

تايني بيرت (TinyBERT)

نسخة فائقة الصغر من BERT تقلل المعلمات بما يصل إلى 7.5 مرة مع الحفاظ على أداء عالٍ. تطبق التقطير ثنائي الاتجاه والانتباه متعدد المستويات للضغط.

← رجوع