BERT ومتغيراته

محولات القمع (Funnel Transformers)

هندسة معمارية هرمية تقلل تدريجياً من طول التسلسلات عبر الطبقات مع الحفاظ على المعلومات الهامة. توفر بشكل كبير الذاكرة الحسابية للتسلسلات الطويلة.

← رجوع