بنية BERT
كتلة مشفر Transformer
الوحدة الحسابية الأساسية لـ BERT المكونة من انتباه متعدد الرؤوس يليه شبكة feed-forward مع اتصالات متبقية وتطبيع. تعالج كل كتلة التسلسل بأكمله بشكل متزامن، محافظةً على العلاقات العامة.
← رجوع