এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
মিক্সড প্রিসিশন কম্পিউটিং
কৃত্রিম বুদ্ধিমত্তা অ্যাপ্লিকেশনগুলিতে মেমরি পারফরম্যান্স, কম্পিউটেশনাল থ্রুপুট এবং ফলাফলের নির্ভুলতার মধ্যে ভারসাম্য অপ্টিমাইজ করার জন্য একই সাথে একাধিক পরিবর্তনশীল-নির্ভুলতার সংখ্যাসূচক ফরম্যাট (FP64, FP32, FP16, INT8) ব্যবহার করে এমন একটি কম্পিউটিং কৌশল।
FP16 (হাফ-প্রিসিশন ফ্লোটিং পয়েন্ট)
১ বিট সাইন, ৫ বিট এক্সপোনেন্ট এবং ১০ বিট ম্যান্টিসা সহ ১৬-বিটের সংখ্যাসূচক উপস্থাপনা ফরম্যাট, যা হ্রাসকৃত নির্ভুলতার বিনিময়ে গণনা ত্বরান্বিত করতে এবং মেমরির ফুটপ্রিন্ট কমাতে ব্যবহৃত হয়।
FP32 (সিঙ্গেল-প্রিসিশন ফ্লোটিং পয়েন্ট)
১ বিট সাইন, ৮ বিট এক্সপোনেন্ট এবং ২৩ বিট ম্যান্টিসা সহ ৩২-বিটের মানক সংখ্যাসূচক উপস্থাপনা ফরম্যাট, যা বেশিরভাগ এআই মডেলের প্রশিক্ষণের জন্য নির্ভুলতার রেফারেন্স হিসেবে কাজ করে।
INT8 (৮-বিট ইন্টিজার)
স্বাক্ষরিত পূর্ণসংখ্যা উপস্থাপন করার জন্য ৮-বিটের কোয়ান্টাইজেশন ফরম্যাট, যা প্রধানত হার্ডওয়্যার অ্যাক্সিলারেটরগুলির কম্পিউটেশনাল থ্রুপুট সর্বাধিক করতে এবং শক্তি খরচ কমাতে ইনফারেন্সের জন্য ব্যবহৃত হয়।
টেনসর কোর
আধুনিক জিপিইউ-তে (NVIDIA) সংহতকৃত বিশেষায়িত কম্পিউটিং ইউনিট, যা মিক্সড প্রিসিশনে (FP16/FP32) ম্যাট্রিক্স মাল্টিপ্লিকেশন-অ্যাকুমুলেশন অপারেশনগুলি অত্যন্ত সমান্তরালভাবে সম্পাদন করার জন্য ডিজাইন করা হয়েছে।
ডায়নামিক লস স্কেলিং
লস স্কেলিং-এর একটি অভিযোজী রূপ যেখানে প্রশিক্ষণের সময় স্কেলিং ফ্যাক্টরটি গতিশীলভাবে সামঞ্জস্য করা হয়, স্থিতিশীলতার ক্ষেত্রে বৃদ্ধি পায় এবং ওভারফ্লো-এর ক্ষেত্রে কমে যায় যাতে কনভারজেন্স অপ্টিমাইজ করা যায়।
মাস্টার ওয়েটস
মিক্সড প্রিসিশনে প্রশিক্ষণের সময় FP32 (বা FP64)-এ রক্ষণাবেক্ষণ করা মডেলের ওজনের একটি কপি, যা ওজন আপডেটের জন্য নির্ভুলতার রেফারেন্স হিসাবে কাজ করে, যখন ফরোয়ার্ড/ব্যাকওয়ার্ড গণনাগুলি FP16-এ সম্পাদিত হয়।
অটোমেটিক মিক্সড প্রিসিশন (AMP)
এআই ফ্রেমওয়ার্কগুলির (PyTorch, TensorFlow) একটি বৈশিষ্ট্য যা স্বয়ংক্রিয়ভাবে FP16 বা FP32-এ সম্পাদন করার জন্য অপারেশনগুলি নির্বাচন করে, টাইপ রূপান্তর পরিচালনা করে এবং স্বচ্ছভাবে লস স্কেলিং প্রয়োগ করে।
Vector Processing Units (VPU)
Accélérateurs matériels spécialisés optimisés pour les calculs en précision entière (INT8) et faible précision, conçus pour l'inférence efficace de réseaux de neurones sur des appareils edge.
Sparsity Acceleration
Technique combinée à la mixed precision exploitant les zéros dans les tenseurs pour sauter les calculs inutiles, réduisant la bande passante mémoire et augmentant le débit effectif des opérations matricielles.
Numerical Stability Analysis
Évaluation systématique de l'impact de la réduction de précision sur la convergence et la précision finale d'un modèle, identifiant les couches sensibles nécessitant un maintien en FP32 dans une stratégie mixed precision.
FP8 (8-bit Floating Point)
Format émergent de représentation sur 8 bits avec différentes variantes (E4M3, E5M2) optimisées pour l'entraînement et l'inférence, offrant un compromis extrême entre débit et précision pour les très grands modèles.
Gradient Accumulation in Mixed Precision
Technique où les gradients calculés en FP16 sont accumulés dans un buffer FP32 avant la mise à jour des poids, prévenant la perte de précision lors de l'agrégation sur plusieurs mini-batchs.
Precision-Aware Pruning
Méthode d'élagage de réseau qui considère la sensibilité de chaque couche à la réduction de précision, appliquant un élagage plus agressif sur les couches robustes en basse précision pour maximiser l'accélération.