Efficient Transformers
লিনিয়ার ট্রান্সফরমার
সিকোয়েন্স এবং মেমোরিতে রৈখিক জটিলতা অর্জনের জন্য কার্নেলাইজড অ্যাটেনশন ডিকম্পোজিশন ব্যবহার করে আর্কিটেকচার। লিনিয়ার ট্রান্সফরমার অ্যাসোসিয়েটিভ রিওর্ডারিং সক্ষম করার জন্য পজিটিভ কার্নেল ফাংশন দিয়ে সফটম্যাক্স প্রতিস্থাপন করে।
← ফিরে যান