BERT ومتغيراته

ألبرت (ALBERT)

نسخة خفيفة من BERT تقلل بشكل كبير من المعلمات من خلال مشاركة التضمينات وتحليل المصفوفات للطبقات. تحافظ على أداء تنافسي مع كونها أكثر كفاءة من حيث الذاكرة.

← رجوع