AI用語集
人工知能の完全辞典
サイン波形位置エンコーディング
異なる周波数の正弦波と余弦波を使用して一意の位置表現を作成する位置エンコーディング手法。モデルがトレーニング中に見たことのないより長いシーケンス長に外挿することを可能にします。
絶対位置エンコーディング
シーケンス内の各位置がその絶対位置に基づいて一意で固定されたエンコーディングを受け取る従来の手法で、シーケンス要素間の空間的関係を考慮しません。
回転位置エンコーディング（RoPE）
RoPE技術で、クエリとキーの埋め込みに絶対位置に基づいて行列回転を適用し、注意メカニズムの計算に位置情報を自然に統合しながら、並進不変性の特性を維持します。
Alibi位置エンコーディング
注意行列に静的バイアスを追加してトークン間の距離に基づいて注意スコアをペナルティ化する手法で、複雑なアーキテクチャ変更なしにより長いシーケンスへのより良い外挿を可能にします。
複素数位置エンコーディング
複素平面での回転が位置情報をエンコードする複素数を使用して位置を表現するアプローチで、長いシーケンスに対してより表現力豊かで効率的な表現を提供します。
位置埋め込み
シーケンス内の各トークンの位置を表す密なベクトルで、通常は単語埋め込みと同じ次元を持ち、注意メカニズムに渡される前にそれらに加算されます。
固定位置エンコーディング
位置表現が事前に決定され、トレーニング中に変化しないタイプの位置エンコーディングで、通常は正弦波/余弦波やフーリエ変換などの数学的関数に基づいています。
双方向位置エンコーディング
左から右と右から左の方向に対して別々のエンコーディングを使用する技術で、BERTモデルのように双方向で同時に文脈情報をキャプチャすることを可能にします。
フーリエ位置エンコーディング
フーリエ級数に基づいて位置を表現する手法で、異なる周波数を使用してシーケンス内の時間的または空間的なスケールでパターンを捉える。
ガウス位置エンコーディング
各位置に中心を置いたガウス関数を使用して連続的で滑らかなエンコーディングを作成する技術で、データ内の連続的な位置関係をモデル化するのに特に効果的。
T5位置エンコーディング
T5モデルで使用される位置エンコーディングの変種で、学習された位置埋め込みと位置スカラーを組み合わせてテキスト生成タスクにおける相対位置の表現を向上させる。
BERT位置エンコーディング
BERTモデルで使用される特定の実装で、最大サイズ512の学習された位置埋め込みに基づき、トランスフォーマーの層の前にトークン埋め込みに直接加えられる。
GPT位置エンコーディング
GPTモデルで使用される位置エンコーディングシステムで、最初は学習された埋め込みに基づいていたが、より良い外挿のために最新バージョンではRoPEのようなより洗練された変種に進化した。
位置補間
新しい位置エンコーディングを学習するのではなく、既存の位置エンコーディングを補間することで、事前学習済みモデルをより長いコンテキストに拡張する外挿技術で、獲得された知識を保持する。