Modèles à Faible Ressource

Pruning Structuré

Technique d'élagage de modèle qui supprime des composants entiers et cohérents (têtes d'attention, neurones, couches) plutôt que des poids individuels, afin de réduire la taille computationnelle tout en maintenant une architecture compatible avec les accélérateurs matériels.

← Retour