🇺🇸 English 🇨🇳 中文 🇪🇸 Español 🇫🇷 Français 🇮🇳 हिन्दी 🇸🇦 العربية 🇵🇹 Português 🇷🇺 Русский 🇧🇩 বাংলা 🇮🇩 Bahasa 🇩🇪 Deutsch 🇯🇵 日本語 🇮🇹 Italiano 🇰🇷 한국어 🇹🇷 Türkçe 🇳🇱 Nederlands 🇵🇱 Polski 🇻🇳 Tiếng Việt 🇸🇪 Svenska 🇭🇰 廣東話
VIP 👤
🏠 Accueil
基準測試
📊 Tous les Benchmarks 🦖 Dinosaure v1 🦖 Dinosaure v2 ✅ To-Do List Apps 🎨 Pages Libres 🎯 FSACB - Showcase 🌍 Traduction
Modèles
🏆 Top 10 Modèles 🆓 Modèles Gratuits 📋 Tous les Modèles ⚙️ Modes Kilo Code
Ressources
💬 Prompts IA 📖 人工智能詞彙表 🔗 Liens Utiles
📖
Tokenisation

分词器推理

将训练好的分词器应用于新文本数据的阶段，将原始文本转换为可供模型处理的分词序列。

← 返回