Оптимизация трансформеров

Zero Redundancy Optimizer (ZeRO/Оптимизатор нулевой избыточности)

Фреймворк оптимизации, распределяющий состояния оптимизатора, градиенты и параметры по нескольким GPU для устранения избыточности памяти во время обучения.

← Назад