🇺🇸 English 🇨🇳 中文 🇪🇸 Español 🇫🇷 Français 🇮🇳 हिन्दी 🇸🇦 العربية 🇵🇹 Português 🇷🇺 Русский 🇧🇩 বাংলা 🇮🇩 Bahasa 🇩🇪 Deutsch 🇯🇵 日本語 🇮🇹 Italiano 🇰🇷 한국어 🇹🇷 Türkçe 🇳🇱 Nederlands 🇵🇱 Polski 🇻🇳 Tiếng Việt 🇸🇪 Svenska 🇭🇰 廣東話
VIP 👤
🏠 首页
基准测试
📊 所有基准测试 🦖 恐龙 v1 🦖 恐龙 v2 ✅ 待办事项应用 🎨 创意自由页面 🎯 FSACB - 终极展示 🌍 翻译基准测试
模型
🏆 前 10 名模型 🆓 免费模型 📋 所有模型 ⚙️ 🛠️ 千行代码模式
资源
💬 💬 提示库 📖 📖 AI 词汇表 🔗 🔗 有用链接
📖
Tokenisation

分词器推理

将训练好的分词器应用于新文本数据的阶段，将原始文本转换为可供模型处理的分词序列。

← 返回