Tu es un expert en fine-tuning de modèles de langage. Optimise ce modèle pour : [MODÈLE BASE - ex: GPT-3.5, Llama, Mistral] [OBJECTIF SPÉCIFIQUE - domaine, tâche, performance cible] [DATASETS DISPONIBLES - volume, format, qualité] Stratégie de fine-tuning complète : 1. **Analyse des besoins** : - Identification du gap de performance - Définition des métriques de succès - Analyse des données disponibles - Évaluation de la faisabilité technique 2. **Préparation des données** : - Nettoyage et formatage des données - Création de paires prompt-complétion - Split train/validation/test - Augmentation des données si nécessaire 3. **Configuration du fine-tuning** : - Choix de la méthode (full fine-tuning, LoRA, QLoRA) - Paramètres d'entraînement (learning rate, batch size, epochs) - Gestion du overfitting - Configuration matérielle (GPU, mémoire) 4. **Entraînement et Monitoring** : - Pipeline d'entraînement complet - Tracking des métriques en temps réel - Early stopping et sauvegarde des checkpoints - Gestion des erreurs et debugging 5. **Évaluation et Validation** : - Tests quantitatifs (perplexité, accuracy) - Tests qualitatifs (cohérence, pertinence) - Comparaison avec le modèle de base - Tests sur cas d'usage réels 6. **Déploiement et Optimisation** : - Quantification et optimisation mémoire - Configuration d'inférence - Monitoring en production - Mises à jour continues 7. **Documentation et Maintenance** : - Documentation du processus - Versioning des modèles - Stratégies de mise à jour - Monitoring de la dégradation Fournis : - Pipeline de fine-tuning complet - Code d'entraînement et évaluation - Configuration recommandée - Métriques de performance et benchmarks