BERTアーキテクチャ

WordPieceトークン化

単語を形態論的なサブユニットに分割するセグメンテーションアルゴリズムで、未知語彙を処理し表現を最適化します。このアプローチにより、BERTは単語を既知のトークンに分解することで、レアな単語や新語を効率的に処理できます。

← 戻る