قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
الترميز الموضعي الجيبي
طريقة ترميز موضعي تستخدم دوال الجيب وجيب التمام بترددات مختلفة لإنشاء تمثيلات موضعية فريدة، مما يسمح للنموذج بالاستقراء إلى أطوال تسلسل أطول لم يسبق رؤيتها أثناء التدريب.
الترميز الموضعي المطلق
طريقة تقليدية حيث تتلقى كل موضع في التسلسل ترميزًا فريدًا وثابتًا بناءً على موقعه المطلق، دون مراعاة العلاقات المكانية بين عناصر التسلسل.
الترميز الموضعي الدوراني
تقنية RoPE التي تطبق دورانًا مصفوفيًا على تضمينات الاستعلام والمفتاح بناءً على مواضعها المطلقة، مما يدمج معلومات الموضع بشكل طبيعي في حساب الانتباه مع الحفاظ على خصائص عدم التغير الترجمي.
الترميز الموضعي ألبي
طريقة تعاقب درجات الانتباه بناءً على المسافة بين الرموز عن طريق إضافة انحيازات ثابتة إلى مصفوفة الانتباه، مما يسمح باستقراء أفضل للتسلسلات الأطول دون تعديلات معمارية معقدة.
الترميز الموضعي المعقد
نهج يستخدم الأعداد المركبة لتمثيل المواضع، حيث يقوم الدوران في المستوى المركب بترميز معلومات الموضع، مما يوفر تمثيلاً أكثر تعبيرًا وفعالية للتسلسلات الطويلة.
تضمينات الموضع
متجهات كثيفة تمثل موضع كل رمز في تسلسل، وعادة ما تكون بنفس أبعاد تضمينات الكلمات وتضاف إليها قبل تمريرها إلى آلية الانتباه.
الترميز الموضعي الثابت
نوع من الترميز الموضعي حيث تكون تمثيلات الموضع محددة مسبقًا ولا تتغير أثناء التدريب، وعادة ما تعتمد على دوال رياضية مثل الجيب/جيب التمام أو تحويلات فورييه.
الترميز الموضعي ثنائي الاتجاه
تقنية تستخدم ترميزات مميزة لاتجاهات اليسار إلى اليمين واليمين إلى اليسار، مما يسمح للنموذج بالتقاط المعلومات السياقية في كلا الاتجاهين في وقت واحد كما هو الحال في نماذج BERT.
تشفير فورييه الموضعي
طريقة تعتمد على متسلسلات فورييه لتمثيل المواضع، باستخدام ترددات مختلفة لالتقاط الأنماط على مقاييس زمنية أو مكانية مختلفة في التسلسل.
تشفير غاوسي الموضعي
تقنية تستخدم دوال غاوسية متمركزة حول كل موضع لإنشاء تشفيرات مستمرة وسلسة، وهي فعالة بشكل خاص لنمذجة علاقات الموضع المستمرة في البيانات.
تشفير T5 الموضعي
متغير من التشفير الموضعي المستخدم في نموذج T5، يجمع بين تضمينات الموضع المتعلمة مع مقاييس الموضع لتحسين تمثيل المواضع النسبية في مهام توليد النصوص.
تشفير BERT الموضعي
تطبيق محدد مستخدم في نماذج BERT، يعتمد على تضمينات الموضع المتعلمة بحد أقصى 512 حجمًا، تُضاف مباشرة إلى تضمينات الرموز قبل طبقات المحول.
تشفير GPT الموضعي
نظام تشفير موضعي مستخدم في نماذج GPT، كان يعتمد في البداية على تضمينات متعلمة ثم تطور إلى متغيرات أكثر تعقيدًا مثل RoPE في الإصدارات الأحدث لتحسين الاستقراء.
الاستيفاء الموضعي
تقنية استقراء تسمح بتوسيع النماذج المدربة مسبقًا إلى سياقات أطول عن طريق استيفاء التشفيرات الموضعية الموجودة بدلاً من تعلم تشفيرات جديدة، وبالتالي الحفاظ على المعرفة المكتسبة.