AI用語集
人工知能の完全辞典
ALiBi (Attention with Linear Biases)
従来の位置エンコーディングの代替手法で、位置間の距離に基づいてアテンションスコアに線形バイアスを加えることで、より長いシーケンスへの外挿を可能にするもの。
Positional Bias
アテンションメカニズムにおいて、トークン間の位置関係を考慮するためにアテンションスコアに適用される加法的または乗法的な項。
Sequence Position Embedding
シーケンス内の各要素の位置を明示的にエンコードするベクトル表現で、モデルがデータの順序を理解できるようにするもの。
Temporal Encoding
時系列データの時間的依存関係を捉えるために特別に設計された位置エンコーディングの変種で、時間や持続期間の概念を統合している。
Continuous Positional Encoding
離散的な位置の間を補間し、分数の位置を扱うことができる、連続的な位置表現を可能にするエンコーディング手法。
Fixed Positional Encoding
正弦波関数などの固定された数式に基づき、埋め込みが事前に決定されており、学習中に変更されない位置エンコーディングのタイプ。
Adaptive Positional Encoding
入力シーケンスの長さに動的に適応する位置エンコーディングのアプローチで、可変長のシーケンスへの汎化性能を向上させる。
Positional Interpolation
新しい位置埋め込みを外挿するのではなく、既存の位置埋め込みを線形補間することで、事前学習済みモデルをより長いシーケンスに適応させる技術。
NTK対応位置補間
非一様フーリエ変換（NTK）の特性を維持することで、高周波数情報の保存を向上させた位置補間の改良版。
xPOS（スケーリング位置エンコーディング）
指数的スケーリングを利用して、局所的な位置情報を保持しながら、長距離の依存関係をより良く捉える位置エンコーディング手法。
T5の相対位置バイアス
T5モデルで使用される相対位置バイアスの具体的な実装であり、アテンションスコアにおいて、トークン間の異なる相対距離に対してバイアスが学習されます。
Transformer-XLの位置エンコーディング
前のセグメントの隠れ状態を再利用し、相対位置エンコーディングを用いて長距離の依存関係をモデリングすることを可能にする再帰的な位置エンコーディングメカニズム。