تكميم وتحسين

الاستدلال التخميني (Speculative Inference)

تقنية تسريع الاستدلال التوليدي حيث يقترح نموذج 'مسودة' صغير بسرعة عدة رموز (tokens)، والتي يتم التحقق منها لاحقًا بالتوازي بواسطة النموذج الهدف الكبير، مما يقلل العدد الإجمالي لخطوات الحساب المكلفة.

← رجوع