Optimización de Transformers

Paralelismo de Pipeline

Forma de paralelismo de modelo donde las capas se distribuyen en diferentes GPUs y se procesan en pipeline para mejorar la utilización de recursos.

← Volver