低リソースモデル

メモリ効率オプティマイザ

すべてのパラメータのモーメントを保存することを避けることで、オプティマイザの状態のメモリフットプリントを削減するオプティマイザの変種（Adafactorや8-bit Adamなど）。これは、リソースが限られたGPUで大規模モデルをトレーニングするために重要である。

← 戻る