بنية BERT

كتلة مشفر Transformer

الوحدة الحسابية الأساسية لـ BERT المكونة من انتباه متعدد الرؤوس يليه شبكة feed-forward مع اتصالات متبقية وتطبيع. تعالج كل كتلة التسلسل بأكمله بشكل متزامن، محافظةً على العلاقات العامة.

← رجوع