トークン化

単語トークン化

各完全な単語（スペースまたは句読点で区切られた）がユニークなトークンとなる従来の手法。このアプローチは、稀な単語、スペルミス、大規模な語彙において重要な制約があり、現代のLLMにはあまり適していません。

← 戻る