ポジショナルエンコーディング

BERT位置エンコーディング

BERTモデルで使用される特定の実装で、最大サイズ512の学習された位置埋め込みに基づき、トランスフォーマーの層の前にトークン埋め込みに直接加えられる。

← 戻る