Glossário IA
O dicionário completo da Inteligência Artificial
Stacking
Técnica de ensemble que combina as previsões de vários modelos base através de um meta-modelo aprendido nas previsões dos modelos primários. Este método permite capturar padrões complexos que os modelos individuais não conseguem detectar sozinhos.
Blending
Variante do stacking onde as previsões dos modelos base são combinadas usando um conjunto de validação hold-out em vez de uma validação cruzada. O blending é mais simples de implementar, mas pode ser menos robusto do que o stacking clássico.
Meta-modelo
Modelo de nível superior no stacking que aprende a combinar as previsões dos modelos base para produzir a previsão final. O meta-modelo identifica os pesos ótimos a atribuir a cada previsão dos modelos subjacentes.
Modelos base
Conjunto de modelos primários (nível 0) que geram previsões independentes sobre os mesmos dados de entrada. Esses modelos podem ser de naturezas diferentes (árvores, SVM, redes neurais) para maximizar a diversidade das previsões.
Out-of-fold predictions
Previsões geradas por um modelo nos dados de validação dobrados durante a validação cruzada K-fold, essenciais para evitar vazamento de dados no stacking. Essas previsões servem como características de treinamento para o meta-modelo.
Stacked Generalization
Termo formal designando o stacking, um método de aprendizado de máquina que combina múltiplos classificadores ou regressores para melhorar a precisão preditiva. Usa uma abordagem hierárquica onde as previsões de nível 0 tornam-se as entradas de nível 1.
Level-0 Models
Primeira camada de modelos na arquitetura de stacking que geram previsões brutas sobre os dados originais. Esses modelos são treinados independentemente e sua diversidade é crucial para o desempenho geral.
Level-1 Model
Modelo meta-aprendiz no topo da arquitetura de stacking que combina as previsões dos modelos de nível 0. Ele aprende os pesos ótimos e as interações entre as previsões dos modelos base.
Weighted Averaging
Technique de combinaison simple où les prédictions de plusieurs modèles sont moyennées avec des poids optimisés pour maximiser la performance. Contrairement au stacking, les poids sont généralement fixes et déterminés heuristiquement.
Voting Classifier
Méthode d'ensemble qui combine les prédictions de plusieurs classificateurs par vote majoritaire (hard voting) ou moyennage des probabilités (soft voting). C'est une approche plus simple que le stacking mais efficace pour combiner des modèles divers.
Super Learner
Implémentation optimisée du stacking qui garantit théoriquement une performance égale ou supérieure à n'importe quel modèle de base individuel. Cette approche utilise la validation croisée pour générer des prédictions sans biais pour le méta-modèle.
Hold-out Set
Sous-ensemble des données d'entraînement conservé séparément pour évaluer les performances des modèles de base dans le blending. Cet ensemble sert à générer les features pour le méta-modèle sans risque de surapprentissage.
Ensemble Diversity
Principe fondamental stipulant que les modèles de base doivent être suffisamment différents dans leurs erreurs pour que l'ensemble soit efficace. La diversité garantit que les modèles se complètent plutôt que de répéter les mêmes erreurs.
Multi-level Stacking
Extension du stacking avec plusieurs couches de méta-modèles où chaque niveau combine les prédictions du niveau précédent. Cette architecture hiérarchique peut capturer des patterns de plus en plus complexes mais augmente le risque de surapprentissage.
Feature Engineering for Stacking
Processus de création de features additionnelles pour le méta-modèle incluant les prédictions des modèles de base, leurs statistiques et interactions. Ces engineered features peuvent significativement améliorer la capacité du méta-modèle à identifier des patterns complexes.