الشبكات التغذية الأمامية

تسوية الطبقة الداخلية

تطبيق تسوية الطبقة قبل أو بعد FFN في بنية المحول، مع متغيرات pre-norm و post-norm التي تؤثر على استقرار التدريب.

← رجوع