AI用語集

📖

用語

マスクトークン

学習中に特別な記号に置き換えられたテキストシーケンス内のトークンで、モデルが元のトークンを予測することを学習させます。

📖

用語

BERT

自然言語の双方向の文脈を理解するためにMLM（マスク言語モデル）を利用する、事前学習されたTransformerの画期的なアーキテクチャ。

📖

用語

RoBERTa

Next Sentence Prediction（次文予測）を排除し、改善されたハイパーパラメータと動的マスキングを利用する、BERTの最適化されたバージョン。

📖

用語

双方向アテンション

一方向のモデルとは対照的に、シーケンス内の各トークンが前後のトークンの両方に注目できるようにするメカニズム。

📖

用語

トークンエンベディング

入力トークンの意味的および統語的特徴を捉える、密なベクトル表現。

📖

用語

ダイナミックマスキング

RoBERTaのようにモデルの堅牢性を高めるために、学習の各エポックでマスク対象のトークンを変更するマスキング戦略。

📖

用語

Whole Word Masking (WWM)

ランダムな個別のトークンではなく、単語全体のすべてのサブトークンをマスクする高度な手法。

📖

用語

スパンマスキング

自然な言語現象をより良く模倣するために、可変長の連続したトークン列をマスクする戦略。

📖

用語

マスキング戦略

MLMトレーニング中に、どのトークンをマスクするか、どの確率で、どのように置換するかを決定する一連のルール。