ドキュメントチャンキング

トークンベースチャンキング

トークンを基本単位として使用する分割戦略で、GPTやBERTなどの言語モデルのコンテキスト制限を遵守するために不可欠。

← 戻る