AI用語集

📖

用語

マスク言語モデル (Masked Language Model)

文中のランダムにマスクされた単語を予測する学習目標であり、モデルが言語の双方向の文脈を理解することを強制します。

📖

用語

シーケンス・ツー・シーケンス (Seq2Seq)

入力シーケンスを処理するエンコーダと出力シーケンスを生成するデコーダの2つの部分で構成されるニューラルネットワークアーキテクチャで、翻訳やテキスト生成に使用されます。

📖

用語

レイヤー正規化 (Layer Normalization)

各層の活性化を正規化することで深層ニューラルネットワークの学習を安定化させ、収束を加速させ、パフォーマンスを向上させる正規化手法です。

📖

用語

サブワードトークン化 (Subword Tokenization)

単語をより小さな単位（サブワード）に分割するトークン化手法で、既知のサブワードの結合によってレアな単語や未知の単語を表現しながら、有限の語彙を管理することを可能にします。