আর্কিটেকচার ট্রান্সফরমার

ক্যুয়ারি-কী-ভ্যালু প্রজেকশন

ইনপুট এম্বেডিংগুলিকে তিনটি পৃথক ম্যাট্রিক্সে (Q, K, V) রৈখিক রূপান্তর, যা softmax(QK^T/√d_k)V সূত্র অনুসারে অ্যাটেনশন ওজন গণনা করতে ব্যবহৃত হয়।

← ফিরে যান