BERT（Bidirectional Encoder Representations）

Positional Embeddings

BERTでトークンの埋め込みに追加されるベクトルで、系列の位置をエンコードします。注意機構だけではトークンの順序を捉えられないため、これらは不可欠です。

← 戻る