AI用語集
人工知能の完全辞典
アテンション重みの可視化
シーケンス内のトークン間のアテンションの数値を色やサイズの強度を用いて表現し、重要な関係性を定量化するグラフィック手法。
ヒートマップ
色がアテンション重みの強度をコード化する二次元行列表現で、アテンション集中度が高い領域を迅速に特定できる。
アテンヘッド分析
マルチヘッドメカニズム内の各ヘッドにおける個別のアテンションパターンの比較研究により、ヘッド間の機能的専門化と冗長性を明らかにする。
マルチヘッドアテンションパターン
Transformer層内の異なるアテンションメカニズムを同時に可視化し、各ヘッドがどのように異なる構文または意味的関係のタイプを捕捉するかを示す。
自己アテンション行列
同じシーケンス内のすべてのトークンペア間のアテンション重みを表す正方行列で、各要素(i,j)はトークンjがトークンiに与える影響を示す。
クロスアテンション可視化
異なる2つのシーケンス間のアテンション重みのグラフィック表現で、主にエンコーダ-デコーダモデルでソース-ターゲットのアライメントを可視化するために使用される。
アテンションロールアウト
連続する層を通じてアテンション重みを再帰的に伝播させ、トークンがモデルの最終予測に与える累積的影響を計算する手法。
アテンションフロー
トークン間のアテンション影響の経路を追跡することにより、情報がTransformer層を通じてどのように流れるかを示す可視化手法。
勾配ベースのアテンション
出力をアテンション重みに関して微分し、モデルの予測に対する最も関連性の高い寄与を特定するアプローチ。
トークン間アテンション
トークン間のペアワイズなアテンション関係を直接可視化し、入力シーケンス内の局所的およびグローバルな依存関係を特定する。
レイヤーごとのアテンション分析
ネットワークの異なる深さでアテンションパターンを比較検証し、下層から上層への抽象表現の進化を明らかにする。
アテンション軌跡
推論またはトレーニング中のアテンション重みの進化を時間的に可視化し、パターンがどのように安定化または動的に変化するかを示す。
アテンション顕著性マップ
最も多くのアテンションを受け取るトークンを強調するために、入力テキストに重ねられたヒートマップで、モデルの意思決定の解釈を容易にする。
アテンション伝播
アテンションシグナルがネットワーク内を伝播・増幅する様子を追跡する技術で、意思決定におけるクリティカルなパスを明らかにする。
アテンション投影
t-SNEやUMAPなどの技術を使用して、高次元のアテンション重みを視覚可能な2D/3D空間に次元削減し、類似したパターンのクラスターを特定する。
アテンションクラスタリング
類似したアテンションパターンを自動的にグループ化し、アテンションメカニズム内の反復的な振る舞いや機能的専門化を特定する。
アテンションパターン分類
構造的特性と分布的特性に基づいた注意パターン（統語的、意味的、位置的）の種類の自動分類