AI用語集

📖

用語

KVキャッシュ

推論時の最適化手法。新しいトークンを生成するたびに注意状態を再計算するのを避けるため、過去のトークンのキー（keys）とバリュー（values）をキャッシュする。

📖

用語

RLHF（人間のフィードバックによる強化学習）

モデルのアライメントのためのパラダイム。人間の嗜好から導き出された報酬を用いて強化学習によりモデルをファインチューニングし、その振る舞いを調整する。

📖

用語

マルチヘッド注意メカニズム

注意機構の拡張。複数のヘッドが並列に、異なる射影された部分空間で注意表現を計算することで、モデルがシーケンスの多様な側面に集中できるようにする。

📖

用語

デコーダーのみ（Decoder-Only）

因果マスキング付きのデコーダーブロックのみで構成されるTransformerアーキテクチャ。自己回帰的な言語モデリングおよび生成タスクに最適化されている。

📖

用語

確率密度モデリング

言語モデルの基本的な目的。シーケンス内の各位置について、条件付き確率 P(token_t | tokens_<t) を推定することを学習する。