Архитектура BERT

Pooling Layer

Финальный слой, который агрегирует представления токенов в единый вектор для задач классификации. BERT обычно использует представление токена [CLS] или выполняет усредняющий пулинг по всем токенам.

← Назад