AI用語集
人工知能の完全辞典
サブワードトークナイゼーション
単語より小さいが文字より大きい言語単位にテキストを分割する技術で、トランスフォーマーモデルで語彙と珍しい単語を効率的に処理できるようにします。
不明トークン(UNK)
トークナイザーの語彙に存在しない単語やサブワードを表現するために使用される特殊トークンで、モデルが推論中に語彙外の入力を処理できるようにします。
形態素解析
単語内の形態素と文法構造を特定するプロセスで、言語の形態論的規則性を自然に捉えるサブワードトークナイザーによって最適化されます。
文字レベルトークナイゼーション
各文字を個別のトークンとして扱う分割アプローチで、語彙の問題を排除しますが、計算効率を犠牲にしてシーケンス長を増加させます。
単語レベルトークナイゼーション
単語全体をトークン単位として使用する伝統的な方法で、語彙の爆発と語彙外の単語や形態論的変化を処理できないことで制限されます。
BPEドロップアウト
トレーニング中に特定のマージを無視することでBPEトークナイゼーションプロセスにランダム性を導入する正則化技術で、モデルの堅牢性と汎化性を向上させます。
特殊トークン(CLS, SEP, PAD, MASK)
BERTで特定の機能を持つ予約トークン：CLSは分類用、SEPは分離用、PADは整列用、MASKは事前学習中のマスキング用です。
トークンIDマッピング
語彙の各トークンと一意の数値識別子間の全単射対応で、ニューラルモデルでテキスト表現と数値表現間の効率的な変換を可能にします。
トークン圧縮
サブワードトークン化の主な目的は、計算上の最適なパフォーマンスのために妥当なサイズの語彙を維持しながら、単語あたりの平均トークン数を最小限に抑えることです。
トークン頻度しきい値
サブワードトークン化において語彙のカバレッジとサイズのバランスを取るために重要な、語彙に含めるためにトークンが達成する必要がある最小頻度を定義するパラメータ。
サブワードセグメンテーションアルゴリズム
確率最大化とセグメント最小化の原則に基づいて、未知の単語を語彙内の既存のサブワードに分割する方法を決定するルールとヒューリスティックの集合。
語彙カバレッジ
UNKトークンなしで表現できるコーパスの割合を評価する指標で、サブワードアルゴリズムによって最適化され、現代のコーパスでは通常99.9%以上のカバレッジを達成します。