サブワードトークナイゼーション

サブワードセグメンテーションアルゴリズム

確率最大化とセグメント最小化の原則に基づいて、未知の単語を語彙内の既存のサブワードに分割する方法を決定するルールとヒューリスティックの集合。

← 戻る