Параллелизм моделей

Параллелизм последовательностей

Форма параллелизма, которая разделяет измерение последовательности входных тензоров на несколько ускорителей, используемая для моделей типа Transformer с длинными последовательностями.

← Назад