Parallélisme de Modèles

Offloading

Stratégie de gestion mémoire où les données (poids, gradients, activations) sont déplacées dynamiquement entre la mémoire GPU rapide et la mémoire CPU plus lente mais plus vaste.

← Retour