AI用語集
人工知能の完全辞典
トランスフォーマー
2017年に導入されたニューラルネットワークアーキテクチャで、データ系列を処理するために専らアテンションメカニズムを使用し、自然言語処理の分野に革命をもたらしました。
GPT（生成型事前学習済みトランスフォーマー）
OpenAIによって開発された自己回帰型言語モデルのファミリーで、巨大なテキストコーパスで事前学習され、特定のタスクのためにファインチューニングされます。
アテンションメカニズム
モデルが出力の各要素を生成する際に入力の各部分の重要性を異なる重み付けで処理できるようにする技術で、文脈的整合性を向上させます。
温度パラメータ
テキスト生成におけるランダム性の度合いを制御するパラメータで、低い温度はより予測可能なテキストを生成し、高い温度は創造性を増しますが一貫性を低下させます。
Top-kサンプリング
次のトークンの選択を最も確率の高いk個のトークンに制限するサンプリング手法で、生成において多様性と品質のバランスを取ります。
Nucleusサンプリング (Top-p)
累積確率が閾値pを超える最小のトークン集合を選択する適応的サンプリング技術で、文脈に応じて可変的な一貫性を確保します。
パープレキシティ
言語モデルの品質を評価する指標で、テキストサンプルを予測する能力を測定し、より低い値がより良い予測を示します。
ROUGEスコア
生成されたn-gramと参照のn-gramを比較して自動要約の品質を評価する指標のセットで、主に要約タスクで使用されます。
プロンプトエンジニアリング
言語モデルを技術的な変更なしにその能力を最大限に活用しながら、望ましい出力へ導くための最適な指示を設計する技術と科学。
思考連鎖プロンプト
最終回答を提供する前にモデルに段階的思考を生成させることを奨励するプロンプト技術で、複雑な問題解決を向上させる。
RLHF（人間のフィードバックによる強化学習）
人間の評価に基づく報酬を用いた強化学習を利用して、望ましい行動を最適化するための言語モデルアライメント手法。
自己回帰モデル
以前に生成されたすべてのトークンで各新しい予測を条件付けながら、トークンごとにテキストを生成するモデルタイプで、一貫したシーケンシャル作成を可能にする。
勾配チェックポイント
バックプロパゲーション中に特定の活性化を再計算することでRAMフットプリントを削減し、より大きなモデルのトレーニングを可能にするメモリ最適化技術。