BERT и его варианты

Funnel Transformers

Иерархическая архитектура, которая постепенно сокращает длину последовательностей по мере прохождения слоев, сохраняя при этом важную информацию. Значительно экономит вычислительную память при работе с длинными последовательностями.

← Назад