قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
المشفر ثنائي الاتجاه
مكون يعالج تسلسل الإدخال بالكامل في وقت واحد، مما يسمح لكل رمز بالانتباه إلى جميع الرموز الأخرى، سواء الماضية أو المستقبلية، لفهم سياقي كامل.
وحدة فك الترميز ذات الانحدار الذاتي
آلية توليد حيث تنتج وحدة فك الترميز تسلسل الإخراج رمزًا تلو الآخر، بالاعتماد فقط على الرموز المُولدة سابقًا وعلى التمثيل السياقي للمشفر.
آلية الانتباه المتقاطع
عملية في وحدة فك الترميز تسمح لها بالتركيز على أجزاء محددة من إخراج المشفر، موزنة أهمية كل رمز إدخال لتوليد رمز الإخراج الحالي.
الإخفاء السببي
تقنية تُطبق في وحدة فك الترميز لمنع كل موضع من الانتباه إلى المواضع المستقبلية، مما يضمن الطبيعة ذات الانحدار الذاتي للتوليد وغياب تسرب المعلومات.
الشبكة الأمامية
شبكة عصبية متصلة بالكامل تُطبق على كل موضع بشكل مستقل بعد آلية الانتباه، مما يسمح بتحويل غير خطي وإسقاط إلى أبعاد أعلى.
التطبيع الطبقي
تقنية تنظيمية تُثبت التنشيطات من خلال تطبيع الميزات لكل مثال على حدة، مما يسرع التقارب ويحسن الأداء العام للنموذج.
عنق الزجاجة للمشفر
تمثيل متجهي ذو أبعاد ثابتة، غالبًا ما يكون الإخراج النهائي للمشفر، والذي يختزل كل معلومات تسلسل الإدخال ويخدم كسياق فريد لوحدة فك الترميز للتوليد.
تضمينات الرموز
متجهات كثيفة عالية الأبعاد تمثل كل رمز منفصل من المفردات في فضاء مستمر، تلتقط معلومات دلالية ونحوية مُتعلمة أثناء التدريب.