AI用語集
人工知能の完全辞典
正弦波位置エンコーディング
異なる周波数の正弦関数を使用して、ユニークで連続的な位置ベクトルを生成する元の位置エンコーディング方法。
学習済み位置エンコーディング
位置ベクトルがモデルの学習可能なパラメータであり、ネットワークがタスクに最適な位置表現を学習できるようにするアプローチ。
相対的位置エンコーディング
シーケンス内の絶対位置ではなく、トークン間の相対距離に焦点を当てた位置エンコーディングの変種。
位置バイアス
位置情報が入力埋め込みではなく、注意スコアにバイアスとして追加される位置エンコーディング技術。
ALiBiエンコーディング（Attention with Linear Biases）
トークン間の距離に基づいて注意をペナルティし、より長いシーケンスへの外挿を可能にする位置エンコーディング方法。
回転位置エンコーディング（RoPE）
埋め込みベクトルを空間内で回転させることで位置情報を統合し、トークン間の幾何学的関係を保持する技術。
畳み込み位置エンコーディング
畳み込み層を使用して位置表現を生成し、シーケンス内の局所的および大域的なパターンを捕捉するアプローチ。
絶対位置指定
各トークンがシーケンス内の絶対インデックスに基づいてユニークな位置識別子を受け取るエンコーディング戦略。
相対的位置エンコーディング
トークン間の注意が、シーケンス内の絶対位置ではなく、それらの相対的な距離に依存する戦略。
階層的位置エンコーディング
位置を複数の粒度レベルでエンコードし、シーケンス構造内の局所的位置と大域的位置の両方を捉える方法。
位置埋め込み
シーケンス内の各トークンの位置を表す密ベクトルで、コンテンツ埋め込みに加算されてTransformerの入力となる。
位置行列
最大長シーケンス内のすべての可能な位置に対する位置エンコーディングを含む数学的構造。
軸方向位置エンコーディング
2次元データ（画像など）のための位置エンコーディング技術で、水平軸と垂直軸の位置を別々にエンコードする。
テンソル位置エンコーディング
シーケンス内の異なる次元的位置間の複雑な相互作用を捉えるためにテンソル積を使用する高度な方法。
周期的位置エンコーディング
位置を表すために周期的パターンを使用するエンコーディング手法で、反復構造を持つシーケンスに特に効果的。
適応的位置エンコーディング
位置エンコーディングが処理されるシーケンスの内容と長さに基づいて動的に適応する技術。
補間による位置符号化
既存の位置を補間することで、学習時に見られなかった系列長に位置符号化を拡張する方法。
連続的位置符号化
位置を離散的ではなく連続変数として扱うアプローチで、中間位置のより細かい表現を可能にする。
相対的注意による位置符号化
注意スコアがトークン間の相対距離によって直接修正される変種で、位置情報を注意メカニズムに統合する。