Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Weight Sharing
Méthode où plusieurs connexions neuronales partagent les mêmes paramètres pour réduire significativement le nombre de poids uniques.
Low-Rank Factorization
Décomposition des matrices de poids en produits de matrices de rang inférieur pour compresser les couches denses du réseau.
Tensor Decomposition
Technique avancée factorisant les tenseurs de poids convolutifs en tenseurs plus simples pour réduire la complexité computationnelle.
Sparse Coding
Représentation des activations avec de nombreux coefficients nuls, permettant une compression efficace et un calcul accéléré.
Huffman Coding
Algorithme de compression sans perte assignant des codes binaires de longueur variable aux poids selon leur fréquence d'apparition.
Model Splitting
Division d'un modèle en segments distribués entre clients et serveur pour minimiser la communication tout en préservant la confidentialité.
Parameter Binarization
Conversion des poids en valeurs binaires (+1/-1) pour réduire drastiquement la mémoire et accélérer les calculs sur dispositifs limités.
Federated Averaging
Algorithme d'agrégation pondérant les mises à jour locales des modèles selon la taille des datasets clients pour convergence globale.
Model Pruning Ratio
Pourcentage de poids ou neurones éliminés du modèle original, déterminant le niveau de compression appliqué.
Quantization-aware Training
Entraînement intégrant les effets de la quantification pour minimiser la dégradation des performances post-compression.