Self-Attention

সফটম্যাক্স নরমালাইজেশন

একটি অ্যাক্টিভেশন ফাংশন যা অ্যাটেনশন স্কোরগুলিকে সম্ভাব্যতা বন্টনে রূপান্তর করে, নিশ্চিত করে যে প্রতিটি অবস্থানের জন্য অ্যাটেনশন ওজনের যোগফল 1 হয়।

← ফিরে যান