ポジショナルエンコーディング

位置補間

新しい位置エンコーディングを学習するのではなく、既存の位置エンコーディングを補間することで、事前学習済みモデルをより長いコンテキストに拡張する外挿技術で、獲得された知識を保持する。

← 戻る