تجزئة الكلمات الفرعية

تعيين معرف الرمز (Token ID Mapping)

تطابق أحادي الاتجاه بين كل رمز في المفردات ومعرف رقمي فريد، مما يسمح بالتحويل الفعال بين التمثيلات النصية والرقمية في النماذج العصبية.

← رجوع