Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Validation Croisée Négligente
Technique d'évaluation de modèle utilisant deux boucles de validation croisée imbriquées pour éviter le surajustement lors de l'optimisation des hyperparamètres. La boucle interne sélectionne les meilleurs hyperparamètres tandis que la boucle externe évalue la performance du modèle sélectionné de manière impartiale.
Boucle Interne
Première niveau de validation croisée dans la validation croisée négligente, responsable de la sélection et de l'optimisation des hyperparamètres du modèle. Cette boucle utilise un ensemble de validation distinct pour identifier la configuration optimale avant l'évaluation finale.
Boucle Externe
Deuxième niveau de validation croisée dans la validation croisée négligente, fournissant une estimation non biaisée de la performance du modèle après sélection des hyperparamètres. Les données de test de cette boucle ne sont jamais utilisées pendant l'optimisation des hyperparamètres.
Surajustement des Hyperparamètres
Phénomène où les hyperparamètres sont optimisés pour performer spécifiquement sur l'ensemble de validation, compromettant la généralisation à de nouvelles données. Ce problème survient lorsque la même validation croisée est utilisée pour la sélection d'hyperparamètres et l'évaluation finale.
Biais de Sélection
Erreur systématique introduite lors de la sélection de modèle ou d'hyperparamètres lorsque l'ensemble de test est utilisé implicitement dans le processus d'optimisation. Ce biais conduit à une estimation optimiste et irréaliste de la performance du modèle en production.
Grille de Recherche Imbriquée
Méthode combinant la validation croisée négligente avec la recherche exhaustive d'hyperparamètres sur une grille prédéfinie. Chaque configuration de la grille est évaluée par la boucle interne avant que la meilleure ne soit testée par la boucle externe.
Erreur de Généralisation Estimée
Mesure de performance obtenue par la boucle externe de la validation croisée négligente, représentant une approximation de l'erreur du modèle sur des données non vues. Cette estimation est considérée comme plus fiable que celle obtenue par validation croisée simple.
Optimisation Séquentielle
Processus où la sélection d'hyperparamètres et l'évaluation du modèle sont effectuées séquentiellement mais sur des ensembles de données distincts pour éviter la contamination. Cette approche est fondamentalement implémentée dans la validation croisée négligente.
Validation Croisée à Trois Niveaux
Extension de la validation croisée négligente ajoutant un troisième niveau pour la sélection entre différentes familles de modèles. Chaque niveau utilise des données disjointes pour garantir une évaluation totalement impartiale du pipeline complet.
Fuite d'Information Temporelle
Problème spécifique aux données sérielles où la validation croisée négligente est essentielle pour maintenir l'ordre chronologique entre les ensembles d'entraînement, de validation et de test. Cette approche prévient l'utilisation d'informations futures dans l'optimisation.
Stabilité de Sélection
Capacité de la validation croisée négligente à identifier des hyperparamètres robustes qui performent de manière consistante à travers différents plis de validation externe. Une faible stabilité indique une forte dépendance aux données d'entraînement spécifiques.
Coût Computationnel Quadratique
Complexité algorithmique de la validation croisée négligente, requiring O(k²) entraînements où k est le nombre de plis. Ce coût élevé est le compromis nécessaire pour obtenir une évaluation non biaisée de la performance du modèle.
Validation Croisée Monte Carlo Imbriquée
Variante de la validation croisée négligente utilisant des échantillonnages aléatoires avec remplacement pour les boucles interne et externe. Cette approche réduit la corrélation entre les estimations tout en maintenant l'impartialité de l'évaluation.
Pipelining d'Évaluation
Architecture logicielle où la validation croisée négligente est implémentée comme un pipeline complet intégrant prétraitement, sélection de caractéristiques, optimisation d'hyperparamètres et évaluation finale. Cette structure garantit la reproductibilité et l'absence de fuite de données.
Intervalles de Confiance Imbriqués
Méthode statistique utilisant les résultats de la boucle externe pour calculer des intervalles de confiance sur la performance du modèle. Ces intervalles reflètent l'incertitude due à la fois à la variabilité des données et au processus de sélection d'hyperparamètres.