AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
学習済み位置埋め込み
固定された正弦波関数とは異なり、トレーニング中に学習されるパラメータとして位置ベクトルを使用するアプローチ。
用語
位置インデックス
シーケンス内のトークンの位置を表す整数値で、Positional Encodingの計算の基礎として使用される。
用語
NoPE（位置エンコーディングなし）
明示的な位置エンコーディングのない形式でTransformerのパフォーマンスを探求する実験的アプローチ。
用語
2D位置エンコーディング
画像のような2次元構造データに対して、座標(x, y)をエンコードするPositional Encodingの拡張。
用語
因果的位置エンコーディング
自己回帰型デコーダモデルで使用されるPositional Encodingで、アテンションが因果的（左方向のみ）にマスクされる。
用語
位置ドロップアウト
位置埋め込みに対して特異的にドロップアウト層を適用し、それらへの過度な依存を避けるための正則化手法。
🔍