アテンションマスク

キーパディングマスク

パディングトークンがアテンションスコアに影響を与えるのを防ぐために、アテンションメカニズムのキーに適用される特定のマスクで、通常はソフトマックス演算の前に追加されます。

← 戻る