ポジショナルエンコーディング

Transformer-XLの位置エンコーディング

前のセグメントの隠れ状態を再利用し、相対位置エンコーディングを用いて長距離の依存関係をモデリングすることを可能にする再帰的な位置エンコーディングメカニズム。

← 戻る