ट्रांसफार्मर अनुकूलन
जीरो रिडंडेंसी ऑप्टिमाइज़र (ZeRO)
ऑप्टिमाइज़र स्टेट्स, ग्रेडिएंट्स और पैरामीटर्स को कई GPU पर वितरित करने वाला ऑप्टिमाइजेशन फ्रेमवर्क, प्रशिक्षण के दौरान मेमोरी रिडंडेंसी को समाप्त करता है।
← पीछे