AI用語集
人工知能の完全辞典
自己回帰モデル
すべての前のトークンに基づいて次のトークンを予測する生成モデルのアーキテクチャで、反復的かつ順次にシーケンスを構築する
コンテキストウィンドウ
モデルが同時に処理できるシーケンスの最大サイズで、予測に使用可能な履歴情報の量を制限する
次のトークン予測
条件付き確率P(token_t|tokens_1...t-1)を最大化する自己回帰モデルの基本的な目的
温度サンプリング
ロジットの確率分布を調整することで、次のトークン選択におけるランダム性の程度を制御する生成技術
トップkサンプリング
選択を最も確率の高いk個のトークンに限定し、低確率のトークンを回避しながら多様性を維持する生成方法
核サンプリング
累積確率質量に基づく動的選択戦略で、モデルの信頼度に応じて候補数を適応させる
ビームサーチ
複数の候補シーケンスを同時に探索し、全体として最も確率の高いシーケンスを見つけるデコードアルゴリズム
因果的言語モデル
過去のコンテキストに基づいて将来のトークンを予測するように訓練された自己回帰モデルのタイプで、トレーニング中に将来のトークンへのアクセスを持たない
トランスフォーマーデコーダーのみ
因果的マスキングを伴うデコーダー層のみを使用するニューラルネットワークアーキテクチャで、現代の自己回帰的言語モデルに好まれる。
貪欲デコーディング
各ステップで確率最大のトークンを体系的に選択する生成戦略。一貫性は保証されるが、創造性に欠ける可能性がある。
自己回帰的生成
生成された各トークンが即座に文脈に追加され、後続のトークン生成に影響を与えるテキスト生成プロセス。
言語モデルのファインチューニング
事前学習済みの自己回帰モデルを特定データで専門的に適応させ、対象領域での性能を向上させるプロセス。
ゼロショット学習
学習中に見たことのないタスクを、言語の一般的な知識を活用して達成する自己回帰モデルの能力。
KVキャッシュ
以前のトークンのキー・バリュー状態を保存し、逐次的な自己回帰的生成を加速する最適化メカニズム。
可変シーケンス長
生成される内容に応じて動的に適応し、異なる長さのシーケンスを生成する自己回帰モデルの能力。