GPT (المحول المدرب مسبقًا التوليدي)

KV Cache

تحسين في الاستدلال يخزن مؤقتًا المفاتيح (keys) والقيم (values) للرموز السابقة لتجنب إعادة حساب حالات الانتباه في كل جيل جديد للرمز.

← رجوع