AI用語集
人工知能の完全辞典
正弦波位置エンコーディング
異なる周波数の正弦波関数を使用して、パラメータの学習なしで一意で決定論的な位置表現を作成する位置エンコーディング手法。
学習型位置エンコーディング
位置埋め込みがモデルの学習可能なパラメータとして学習されるアプローチで、特定の訓練データへの適応的最適化を可能にする。
相対位置エンコーディング
トークンの絶対位置ではなく相対距離をエンコードする高度な技術で、可変長シーケンスへの一般化を向上させる。
絶対位置エンコーディング
シーケンス内の各位置がシーケンス内の絶対インデックスに基づいて一意の埋め込みを受け取る伝統的な位置エンコーディング手法。
回転位置エンコーディング (RoPE)
クエリとキーの埋め込みに回転行列を適用する革新的な技術で、位置情報を注意機構に直接効率的に統合する。
Alibi位置エンコーディング
トークン間の距離に基づいて注意スコアを罰則化する手法で、再トレーニングなしにより長いシーケンス長への効率的な外挿を可能にする。
位置埋め込み
シーケンス内の各トークンの位置を表現する密なベクトルで、空間的または時間的な位置情報を提供するためにトークン埋め込みに加算または連結される。
位置エンコーディング付き注意機構
シーケンス内の相対位置に基づいてトークンを異なる重み付けできるようにするため、位置エンコーディングを注意機構に統合すること。
BERTポジショナル埋め込み
BERTアーキテクチャにおける学習可能な位置エンコーディングの特定の実装で、最大シーケンス長が512トークンに固定されたトレーニング可能な位置埋め込みを使用します。
GPT位置エンコーディング
GPTモデルで使用される位置エンコーディングシステムで、テキストの方向性依存関係を効果的にモデル化するために学習された位置埋め込みに基づいています。
Transformer位置エンコーディング
元のTransformerアーキテクチャの重要なコンポーネントで、再帰的メカニズムなしにモデルがトークンの順序を使用できるようにする正弦波エンコーディングを使用します。
3D位置エンコーディング
ボリュームやビデオのような3次元データへの位置エンコーディングの拡張で、3つの空間的または時間的軸の位置情報を組み込みます。
複素数位置エンコーディング
位置を表現するために複素数を使用する高度な変種で、空間関係と複数の周波数のより豊かなモデリングを可能にします。
階層的位置エンコーディング
複数の粒度レベルで位置をエンコードする構造化されたアプローチで、シーケンス内の局所的およびグローバルな位置の両方をキャプチャします。
T5位置エンコーディング
T5アーキテクチャにおける特定の実装で、トークン埋め込みに追加されるスカラー位置埋め込みを使用し、パフォーマンスを維持しながらアーキテクチャを簡素化するように設計されています。
XLNet相対的位置エンコーディング
XLNetの洗練されたメカニズムで、アテンション計算におけるトークン間の相対的な距離をモデル化し、異なるシーケンス長でのより良い一般化を可能にします。
DeBERTa分離アテンション
DeBERTaにおける革新で、アテンションメカニズムにおいてコンテンツと位置を明示的に分離し、分離された位置エンコーディングを使用して表現を向上させます。
Longformer位置エンコーディング
長いシーケンス処理用に適合させた位置エンコーディングシステムで、グローバルとローカルの位置埋め込みを組み合わせてスライディングウィンドウアテンションを最適化します。
Reformer局所性鋭敏ハッシュ
Reformerにおける特殊化された技術で、位置エンコーディングと共にLSHを使用して、非常に長いシーケンス上でのアテンションの計算複雑性を削減します。