قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
ترميز النموذج اللغوي أحادي الكلمة
طريقة ترميز تهيئ مفردات واسعة ثم تقلصها تكرارياً عن طريق إزالة الكلمات الفرعية التي لها أقل تأثير على ترجيح النموذج أحادي الكلمة، مما ينتج عنه مفردات مثالية.
مفردات
مجموعة ثابتة ومحددة مسبقاً لجميع الرموز الفريدة التي يمكن لنموذج لغوي التعرف عليها ومعالجتها، والتي يؤثر حجمها بشكل مباشر على قدرات النموذج وتعقيده الحسابي.
رمز خاص
رمز محدد مسبقاً بوظيفة دلالية محددة، مثل [CLS] للتصنيف، [SEP] للفصل، أو [PAD] لمحاذاة التسلسلات، يُستخدم لهيكلة مدخلات النموذج.
مصفوفة التضمينات
جدول من الأوزان المتعلمة حيث يتوافق كل صف مع التمثيل المتجهي الكثيف لرمز من المفردات، يعمل كطبقة إسقاط لتحويل معرفات الرموز إلى متجهات.
ترميز الكلمات الفرعية
استراتيجية ترميز تقسم الكلمات إلى وحدات أصغر (كلمات فرعية)، مما يسمح بإدارة مفردات محدودة مع القدرة على تمثيل عدد لا نهائي من الكلمات، بما في ذلك الكلمات الجديدة والأخطاء الإملائية.
ترميز على مستوى الحرف
نهج ترميز دقيق حيث يصبح كل حرف رمزاً، مما يلغي مشكلة الكلمات خارج المفردات ولكنه يولد تسلسلات طويلة جداً ويزيد من التعقيد الحسابي.
ترميز على مستوى الكلمة
طريقة تجزئة حيث يتم التعامل مع كل كلمة كاملة، محددة بمسافات أو علامات ترقيم، كرمز فريد، بسيطة ولكنها عرضة لمشكلة الكلمات خارج المفردات (OOV).
طريقة الترميز
مجموعة من القواعد والخوارزميات المحددة (مثل: BPE، WordPiece) التي تحدد كيفية تقسيم النص الخام إلى رموز، مما يؤثر بشكل مباشر على أداء النموذج ومتانته.
تقسيم بالمسافات البيضاء (Whitespace Tokenisation)
تقنية تقسيم بسيطة تقوم بتقسيم النص بالاعتماد فقط على أحرف المسافات البيضاء، وتُستخدم غالبًا كخطوة أولى قبل الطرق الأكثر تعقيدًا.
تقسيم بالتعبيرات النمطية (Regex Tokenisation)
طريقة تقسيم تستخدم أنماط التعبيرات النمطية لتحديد قواعد تقسيم معقدة، مما يسمح بفصل الكلمات وعلامات الترقيم والرموز الأخرى بطريقة محكمة.
تقسيم SentencePiece
تطبيق محدد يعتبر النص تدفقًا من يونيكود ويطبق خوارزمية تقسيم (مثل BPE أو unigram) لإنشاء مفردات قابلة للفك بالكامل ومستقلة عن اللغة.
تقسيم بأزواج الأحرف (ترميز أزواج الأحرف)
نسخة من BPE تعمل على مستوى الأحرف بدلاً من البايتات، وتدمج أزواج الأحرف المتجاورة الأكثر تكرارًا لبناء مفردات من الكلمات الفرعية.
تقسيم N-غرام
نهج يقسم النص إلى تسلسلات متجاورة من n عنصر (أحرف أو كلمات)، يلتقط معلومات سياقية محلية ولكنه يعاني من انفجار تركيبي في المفردات.