AI用語集

📖

用語

デコーダのみ

テキスト生成タスクを自己回帰的に行うために、トランスフォーマーのデコーダーブロックのみで構成されるニューラルネットワーク構造。

📖

用語

自己回帰的事前学習

モデルが系列の条件付き確率を学習する訓練段階で、各トークンをその文脈から予測する尤度を最大化する。

📖

用語

指示によるファインチューニング

事前学習済みモデルを（指示、出力）のペアからなるデータセットで適応させ、特定の命令に従う能力を向上させるプロセス。

📖

用語

指示モデル

基本モデルの変種で、指示をよりよく理解し実行するようにファインチューニングされ、対話や会話支援に最適化されている。

📖

用語

ビームサーチデコーディング

各ステップで最も確率の高い 'k' 個の候補系列を保持するヒューリスティックなデコードアルゴリズムで、生成の一貫性を向上させる。

📖

用語

核サンプリング（トップp）

次のトークンの選択を、累積確率が閾値 'p' を超えるトークンの集合に制限するサンプリング技術で、多様性と一貫性のバランスを取る。

📖

用語

デコード温度

ソフトマックス関数を適用する前にロジットを割ることで生成のランダム性を制御するパラメータで、高い値は創造性を高める。

📖

用語

絶対的位置エンコーディング

系列内のトークンの位置を組み込む方法で、固定または学習された正弦ベクトルを使用し、自己回帰モデルに不可欠。

📖

用語

KVキャッシュ（キーバリューキャッシュ）

自己回帰的な逐次生成において、注意状態の再計算を避けるために、以前のトークンのキーと値を保存する計算最適化手法。

📖

用語

少数ショット学習（インコンテキスト学習）

ネットワークの重みを更新することなく、プロンプトのコンテキスト内で直接提供された少数の例から新しいタスクを学習するモデルの能力。

📖

用語

露出バイアス（エクスポージャーバイアス）

自己回帰モデルが、実際のデータから次のトークンを予測するように訓練されているが、推論時に自身の誤った予測にさらされることで誤差が蓄積する現象。