ポジショナルエンコーディング

T5の相対位置バイアス

T5モデルで使用される相対位置バイアスの具体的な実装であり、アテンションスコアにおいて、トークン間の異なる相対距離に対してバイアスが学習されます。

← 戻る