長いシーケンス用トランスフォーマー

軸方向位置エンコーディング

二次元位置を各軸の一次元エンコーディングに分解する位置エンコーディング手法。訓練中に見られなかったシーケンス長に対する汎化性能を向上させる。

← 戻る