এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
ভেক্টর এমবেডিং
একটি বহুমাত্রিক ভেক্টর স্পেসে টেক্সচুয়াল বা ভিজ্যুয়াল অবজেক্টের ঘন সংখ্যাসূচক উপস্থাপনা, যা এর মৌলিক সেমান্টিক বৈশিষ্ট্যগুলি ক্যাপচার করে। এই এমবেডিংগুলি মেশিনগুলিকে ডেটার অর্থ পরিমাণগতভাবে বোঝার এবং তুলনা করার অনুমতি দেয়।
ভেক্টর ডাটাবেস
উচ্চ-মাত্রিক ভেক্টর উপস্থাপনা সঞ্চয়, সূচীবদ্ধ এবং দক্ষতার সাথে অনুসন্ধানের জন্য অপ্টিমাইজ করা বিশেষায়িত ডাটাবেস। এটি সাদৃশ্য অনুসন্ধান ত্বরান্বিত করতে HNSW বা IVF এর মতো উন্নত সূচীকরণ কাঠামো ব্যবহার করে।
সেমান্টিক সার্চ
একটি অনুসন্ধান পদ্ধতি যা শুধুমাত্র সঠিক কীওয়ার্ড ম্যাচের উপর নির্ভর করার পরিবর্তে একটি ক্যোয়ারীর পিছনে সেমান্টিক উদ্দেশ্য এবং প্রসঙ্গ বোঝে। এটি শব্দভান্ডার ভাগ না করলেও ধারণাগতভাবে অনুরূপ নথি খুঁজে পেতে এমবেডিং ব্যবহার করে।
ডাইমেনশনালিটি রিডাকশন
এলগরিদমিক প্রক্রিয়া যা গুরুত্বপূর্ণ সেমান্টিক সম্পর্ক সংরক্ষণ করার সময় এমবেডিংগুলিতে মাত্রার সংখ্যা হ্রাস করে। PCA বা t-SNE এর মতো কৌশলগুলি স্টোরেজ অপ্টিমাইজ করতে এবং সাদৃশ্য গণনা ত্বরান্বিত করতে সক্ষম করে।
ভেক্টর ইনডেক্স
অপ্টিমাইজ করা ডাটা স্ট্রাকচার যা ব্যাপক তুলনা ছাড়াই দ্রুত নিকটতম প্রতিবেশী অনুসন্ধানের অনুমতি দেয় ভেক্টরগুলিকে সংগঠিত করে। HNSW, IVF বা LSH এর মতো ইনডেক্সগুলি ক্যোয়ারীর সময় জটিলতা উল্লেখযোগ্যভাবে হ্রাস করে।
ভেক্টর নরমালাইজেশন
ইউনিট নর্ম থাকার জন্য ভেক্টরগুলিকে স্কেল করার প্রক্রিয়া, এইভাবে কোসাইন সাদৃশ্য তুলনা মানসম্মত করে। এই কৌশলটি ভেক্টরের মাত্রা সম্পর্কিত পক্ষপাত দূর করে এবং শুধুমাত্র তাদের সেমান্টিক দিকনির্দেশে ফোকাস করে।
এমবেডিং মডেল
প্রি-ট্রেইন্ড নিউরাল নেটওয়ার্ক যা টেক্সট বা অন্যান্য ডেটাকে ঘন ভেক্টর উপস্থাপনায় রূপান্তর করে। BERT, Sentence-BERT বা OpenAI এমবেডিংগুলির মতো মডেলগুলি তাদের আর্কিটেকচার অনুযায়ী বিভিন্ন সেমান্টিক সূক্ষ্মতা ক্যাপচার করে।
HNSW (হায়ারার্কিক্যাল নেভিগেবল স্মল ওয়ার্ল্ড)
গ্রাফ ইনডেক্সিং স্ট্রাকচার যা নিকটতম প্রতিবেশী অনুসন্ধান ত্বরান্বিত করতে একাধিক স্তরের সংযোগ তৈরি করে। এটি নির্মাণের গতি, মেমরি দক্ষতা এবং অনুসন্ধানের গুণমানের মধ্যে একটি চমৎকার সমঝোতা প্রদান করে।
IVF (ইনভার্টেড ফাইল ইনডেক্স)
ভেক্টর স্পেসকে অঞ্চলে (ইনভার্টেড লিস্ট) বিভক্ত করে প্রাসঙ্গিক এলাকায় অনুসন্ধান সীমিত করার একটি ইন্ডেক্সিং কৌশল। এটি ANN অনুসন্ধানে নির্ভুলতা এবং কর্মক্ষমতার ভারসাম্য বজায় রাখার জন্য কোর্স এবং ফাইন কোয়ান্টাইজারগুলিকে একত্রিত করে।
দূরত্ব মেট্রিক্স
গাণিতিক ফাংশন যা এমবেডিং স্পেসে দুটি ভেক্টরের মধ্যে অসমতা পরিমাপ করে। সাধারণ মেট্রিক্সগুলির মধ্যে ইউক্লিডীয় দূরত্ব, কোসাইন সাদৃশ্য এবং ম্যানহাটন দূরত্ব অন্তর্ভুক্ত, যেগুলি বিভিন্ন ব্যবহারের ক্ষেত্রে উপযুক্ত।
ভেক্টর স্টোর
RAG আর্কিটেকচারের একটি উপাদান যা নথির এমবেডিংগুলি সংরক্ষণ এবং দক্ষভাবে পুনরুদ্ধারের জন্য দায়ী। এটি উন্নত জেনারেশন সিস্টেমকে শক্তিশালী করার জন্য ভেক্টরগুলির স্থায়িত্ব, ইন্ডেক্সিং এবং প্রশ্নের ব্যবস্থাপনা করে।
ঘন পুনরুদ্ধার
তথ্য পুনরুদ্ধারের একটি পদ্ধতি যা নথি এবং প্রশ্নের মধ্যে গভীর শব্দার্থিক সম্পর্ক ক্যাপচার করতে ঘন এমবেডিং ব্যবহার করে। এটি প্রসঙ্গ এবং উদ্দেশ্য বোঝার জন্য TF-IDF-এর মতো স্পার্স পদ্ধতিগুলিকে ছাড়িয়ে যায়।
এমবেডিং ক্যাশে
ক্যাশিং সিস্টেম যা অপ্রয়োজনীয় গণনা এড়াতে এবং প্রতিক্রিয়া গতি বাড়াতে পূর্ব-গণনা করা এমবেডিংগুলি সংরক্ষণ করে। এটি পুনরাবৃত্ত বা অনুরূপ প্রশ্ন পরিচালনা করা RAG সিস্টেমের কর্মক্ষমতার জন্য গুরুত্বপূর্ণ।
চাঙ্ক এমবেডিং
সম্পূর্ণ নথির পরিবর্তে নথির অংশগুলির জন্য এমবেডিং তৈরির প্রক্রিয়া, যা আরও সূক্ষ্ম এবং সুনির্দিষ্ট পুনরুদ্ধার ermöglicht। চাঙ্কের সর্বোত্তম আকার ডোমেন এবং প্রসঙ্গের প্রয়োজনীয়তার উপর নির্ভর করে।
ভেক্টর মেটাডেটা
প্রতিটি ভেক্টরের সাথে যুক্ত তথ্য যার মধ্যে উৎস নথির আইডি, টাইমস্ট্যাম্প, প্রাসঙ্গিকতা স্কোর বা অন্যান্য ফিল্টারযোগ্য বৈশিষ্ট্য অন্তর্ভুক্ত। মেটাডেটা অনুসন্ধান ফলাফলের সুনির্দিষ্ট পরিমার্জন ermöglicht।