AI用語集

📖

用語

回転位置埋め込み (RoPE)

相対位置に基づいて埋め込みに複素数回転を適用する位置エンコーディング手法。絶対不変性の特性を維持しながら、位置関係を効率的に符号化します。

📖

用語

ALiBi位置エンコーディング

トークン間の距離に基づいてアテンションスコアに線形バイアスを追加する位置エンコーディング手法。再トレーニングなしで、より長いシーケンスへの外挿を可能にします。

📖

用語

アテンション射影行列

埋め込みをクエリ、キー、バリューに変換し、マルチヘッドの出力を統合する学習可能な重み行列 Wq、Wk、Wv、および Wo。これらの線形射影は、アテンションメカニズムの主要なパラメータです。