التجزئة والترميز

طريقة الترميز

مجموعة من القواعد والخوارزميات المحددة (مثل: BPE، WordPiece) التي تحدد كيفية تقسيم النص الخام إلى رموز، مما يؤثر بشكل مباشر على أداء النموذج ومتانته.

← رجوع