🇺🇸 English 🇨🇳 中文 🇪🇸 Español 🇫🇷 Français 🇮🇳 हिन्दी 🇸🇦 العربية 🇵🇹 Português 🇷🇺 Русский 🇧🇩 বাংলা 🇮🇩 Bahasa 🇩🇪 Deutsch 🇯🇵 日本語 🇮🇹 Italiano 🇰🇷 한국어 🇹🇷 Türkçe 🇳🇱 Nederlands 🇵🇱 Polski 🇻🇳 Tiếng Việt 🇸🇪 Svenska 🇭🇰 廣東話
VIP 👤
🏠 ホーム
ベンチマーク
📊 すべてのベンチマーク 🦖 恐竜 v1 🦖 恐竜 v2 ✅ To-Doリストアプリ 🎨 クリエイティブフリーページ 🎯 FSACB - アルティメットショーケース 🌍 翻訳ベンチマーク
モデル
🏆 トップ10モデル 🆓 無料モデル 📋 すべてのモデル ⚙️ 🛠️ Kilo Code モード
リソース
💬 💬 プロンプトライブラリ 📖 📖 AI用語集 🔗 🔗 有用なリンク
📖
テキスト分類

トークン化

テキストを分析のために、単語、サブワード、文字などの基本的な単位（トークン）に分割するプロセス。

← 戻る