AI用語集

📖

用語

言語モデル

言語における単語シーケンスの出現確率を計算する統計的または神経系システム。これらのモデルは、自然言語を生成または評価するために、大規模なテキストコーパスから文脈的および構文的依存関係を学習します。

📖

用語

トランスフォーマーアーキテクチャ

時間的依存関係なしにシーケンスを並列処理するアテンションメカニズムに基づくニューラルアーキテクチャ。トランスフォーマーは、長距離依存関係を捉える能力により、言語モデルを革新しました。

📖

用語

GPT

左から右へのみデコードするトランスフォーマーアーキテクチャに基づく生成言語モデルファミリー。GPTモデルは、一貫性のあるテキスト生成とシーケンス補完に特化しています。

📖

用語

N-gramme

単語の確率が前のn-1単語にのみ依存するというマルコフ仮説に基づく統計的言語モデル。N-grammeは、ニューラルネットワーク時代以前の言語モデルの古典的なアプローチを構成します。

📖

用語

RNN

各トークンで進化する隠れ状態を維持しながらシーケンスを処理する再帰的ニューラルネットワーク。RNNは、時間的依存関係を捉えるために言語モデルに適用された最初のニューラルアーキテクチャの一つでした。

📖

用語

LSTM

長期的依存関係を管理するために忘却ゲートとメモリゲートを使用するRNNの高度なバリエーション。LSTMは、言語モデリングアプリケーションにおける従来のRNNの勾配消失問題を克服しました。

📖

用語

因果言語モデル

シーケンス内の前の単語のみに基づいて次の単語を予測するように訓練されたモデル。因果モデルは、テキスト生成と補完タスクに特に適しています。

📖

用語

マスク言語モデル

完全な双方向文脈を使用してシーケンス内のマスクされた単語を予測するように訓練されたモデル。このアプローチにより、分析と分類タスクのためのより良い文脈理解が可能になります。