AI用語集
人工知能の完全辞典
アテンションヒートマップ
色のグラデーションを使用して、トークン間の最も強い関係（通常は赤色）と最も弱い関係（通常は青色）を強調するアテンションマトリックスのグラフィカルな可視化。
アライメントスコア
ソフトマックス関数を適用する前の生の値で、クエリとキーの内積から得られ、それらの互換性または関連性を測定する。
スキップ接続アテンション機構
アテンションヘッドが主に現在のトークン自体に集中することを学習する現象で、スキップ接続として機能し、トレーニングの安定性に貢献する。
ヘッド役割分析
構文関係、長距離依存関係、または位置パターンの捕捉など、各アテンションヘッドの特定の機能を特徴付けることを目的とした体系的な研究。
位置アテンション
明示的な位置エンコーディングなしで、モデルがシーケンス内の相対位置に集中することを学習するアテンションの構成要素で、単語の順序に対する理解を明らかにする。
レイヤー別アテンション可視化
表現と関係が深さに応じてどのように進化するかを理解するために、Transformerの各連続レイヤーでアテンションマップを調べる解釈可能性の技術。
クロスアテンション重み
エンコーダー・デコーダーモデルにおいて、出力シーケンス（デコーダー）のトークンと入力シーケンス（エンコーダー）のトークン間のアライメントを測定するアテンション重み。
アテンション正則化
ヘッド間のより大きな多様性やより大きなスパース性など、特定のアテンションパターンを促進するために、損失関数にペナルティを追加するトレーニング技術。
BertViz
BERTタイプのモデルにおけるアテンションメカニズムを検査するために特別に設計されたオープンソースの可視化ツールで、ヘッドごと、レイヤーごとの重みのインタラクティブなビューを提供します。
アテンション勾配
最終的な予測に対する各アテンション接続の影響を評価するために、モデルの出力をアテンション重みに関して微分した勾配を計算する解釈可能性の手法。
ロールバックアテンション
観測されたアテンション重みを手動で変更し（例えば一部をゼロに設定するなど）、モデルの出力への影響を観察することで、学習された依存関係の因果関係をテストする分析手法。
アテンションヘッドクラスタリング
コーパス上の重みパターンの類似性に基づいてアテンションヘッドをグループ化し、共通の言語機能を共有するヘッドのファミリーを特定するアプローチ。
ヘッド効率分析
各アテンションヘッドがモデルの全体的な性能に寄与する度合いを定量的に評価する手法で、ヘッドを除去（枝刈り）した際の性能低下を測定することが多い。
最大アテンション
各ソーストークンについて、最も高いアテンション重みを受けるターゲットトークンを特定する指標で、最も強いアラインメントの簡素化された二値的ビューを提供します。