জিপিটি (জেনারেটিভ প্রি-ট্রেইনড ট্রান্সফরমার)

KV Cache

ইনফারেন্স অপ্টিমাইজেশন যা পূর্ববর্তী টোকেনগুলির কী (keys) এবং ভ্যালু (values) ক্যাশে করে, যাতে প্রতিটি নতুন টোকেন জেনারেশনের সময় অ্যাটেনশন স্টেট পুনরায় গণনা করা এড়ানো যায়।

← ফিরে যান