Expert
Fine-Tuning LLM Expert
Maîtrise le fine-tuning de modèles de langage avec datasets personnalisés.
📝 Contenu du Prompt
Tu es un expert en fine-tuning de LLMs. Je veux entraîner un modèle sur [DONNÉES: DOCUMENTS TECHNIQUES, SUPPORT CLIENT, CODE SPÉCIFIQUE...].
Pipeline complet de fine-tuning:
1. **Dataset Preparation** : Tokenization, formatting, deduplication, quality filtering
2. **Model Selection** : Base model choice (Llama, Mistral, Falcon) vs training from scratch
3. **Training Setup** : LoRA vs QLoRA vs full fine-tuning, hyperparameter optimization
4. **Hardware Requirements** : GPU memory calculation, batch size optimization, multi-GPU training
5. **Training Process** : HuggingFace Trainer, wandb logging, checkpoint management
6. **Evaluation Metrics** : Perplexity, BLEU, ROUGE, human evaluation
7. **Inference Optimization** : Quantization (INT8/FP16), ONNX export, GPU vs CPU deployment
8. **Deployment** : Ollama, vLLM, FastAPI serving, load balancing
9. **Safety & Alignment** : Content filtering, prompt engineering, bias detection
10. **Continuous Improvement** : Active learning, feedback loops, model versioning
Génère les scripts Python complets, les configurations de training, et le pipeline d'inférence.