AI用語集
人工知能の完全辞典
注意ヘッド分析
各ヘッドが生成した注意重みを調べ、各ヘッドが学習した特定のパターンと関係を理解するプロセス。
ヘッドの特化
同じ層内の異なる注意ヘッドが、構文、意味、長距離依存など、異なる言語的関係タイプを学習するために特化する現象。
注意重み行列
注意ヘッドによって生成される正方行列。各要素(i, j)は、シーケンスの文脈においてトークンiに対するトークンjの重要度または関連性スコアを表す。
注意マップ
注意重み行列の視覚化。多くの場合、ヒートマップ形式で、注意ヘッドが入力シーケンス上で持つフォーカス関係を図形的に示す。
構文的役割
特化した注意ヘッドが検出しモデル化することを学習できる関係のタイプ。例えば、主語-動詞の連結や名詞とその形容詞の依存関係など。
位置の役割
主にトークン間の相対位置関係に焦点を当てる注意ヘッドの機能。モデルが意味論的コンテンツとは独立に語順を理解するのを助ける。
位置ヘッド
注意重みがトークン間の相対距離と強く関連したパターンを示す注意ヘッド。順序構造を符号化するメカニズムとして機能する。
サブワードヘッド
BPEなどのトークナイザーによって生成された単語断片（サブワード）間の関係を扱うことに特化した注意ヘッド。語彙的一貫性の再構築を助ける。
検索ヘッド(リトリーバルヘッド)
大規模モデルにおいて特定のトークンに強く接続し、記憶された知識の「キー」として機能する情報検索メカニズムのように振る舞う識別されたアテンションヘッド。
ヘッドの冗長性
過パラメータ化されたモデル内の一部のアテンションヘッドが非常に類似したまたは同一の機能を学習するという観測。リソースの利用における潜在的な非効率性を示唆する。
アテンションヘッドのプルーニング
モデルのサイズと計算コストを性能への最小限の影響で削減するために、冗長または重要でないと判断されたアテンションヘッドを特定して削除するモデル圧縮技術。
ヘッド重要度スコア
ヘッドの全体的な機能への貢献度をランク付けするために使用される、ヘッドの削除に対するモデルの損失または性能の感度から派生することが多い定量的指標。
ヘッド誘導分析
アテンションヘッドの出力に対して単純な教師ありモデル（線形分類器など）をトレーニングし、そのヘッドが表現するように学習した根本的な機能を発見する手法。
対角アテンションパターン
ヘッドが主にトークン自体（自己アテンション）に集中するアテンション重みのパターン。下層で局所的な表現を洗練させるために観察されることが多い。
垂直アテンションパターン
アテンションヘッドが分類タスクのために情報を集約するために、すべての位置で特定の参照トークン（多くはシーケンス開始トークンまたはクラスマーカー）に集中するパターン。
ブロックアテンションパターン
アテンションヘッドがシーケンスの連続したセグメントに集中し、局所的な文や節の処理における特化を示すパターン。
翻訳ヘッド (Translation Head)
多言語モデルにおいて、異なる言語間の単語やフレーズを整列させることを学ぶ注意メカニズムで、言語知識の転送を容易にします。
マルチヘッド注意機構 (Multi-Head Attention)
複数の注意ヘッドを並列に実行し、その出力を連結して射影することで、モデルが同時に異なる位置と表現空間に集中できるようにする、Transformerの基本的なコンポーネント。
ヘッドの解釈可能性 (Head Interpretability)
Transformerモデルの内部動作を解明するために、各注意ヘッドの特定の機能を理解、定量化、可視化する方法を開発することを目的とする研究分野。