位置エンコーディング

XLNet相対的位置エンコーディング

XLNetの洗練されたメカニズムで、アテンション計算におけるトークン間の相対的な距離をモデル化し、異なるシーケンス長でのより良い一般化を可能にします。

← 戻る