BERT এবং এর বৈকল্পিকসমূহ

TinyBERT

BERT-এর একটি আল্ট্রা-কম্প্যাক্ট সংস্করণ যা উচ্চ পারফরম্যান্স বজায় রেখে প্যারামিটার 7.5 গুণ পর্যন্ত হ্রাস করে। কম্প্রেশনের জন্য বাইডিরেকশনাল ডিস্টিলেশন এবং মাল্টি-লেভেল অ্যাটেনশন প্রয়োগ করে।

← ফিরে যান