Optimisation de Modèles

Sparse Training

Paradigme d'entraînement où seule une fraction des poids du modèle est mise à jour à chaque itération, ce qui permet de maintenir une structure éparse tout en apprenant, réduisant ainsi les besoins en calcul et en mémoire dès la phase d'entraînement.

← Retour