Transformer Optimization

Zero Redundancy Optimizer (ZeRO)

Framework d'optimisation distribuant les états de l'optimiseur, gradients et paramètres sur plusieurs GPU pour éliminer les redondances mémoire lors de l'entraînement.

← Tillbaka