Optimisation et Efficacité Computationnelle

Optimisation de la Mémoire par Gradient Checkpointing

Technique de gestion de la mémoire qui sauvegarde sélectivement les activations intermédiaires lors de la rétropropagation, les recalculant au besoin pour échanger une utilisation RAM réduite contre une légère augmentation du temps de calcul.

← Retour