Glossário IA
O dicionário completo da Inteligência Artificial
Gradient Boosting
Technique d'apprentissage ensembliste qui construit des modèles prédictifs de manière séquentielle, où chaque nouveau modèle corrige les erreurs des modèles précédents en optimisant une fonction de perte via la descente de gradient.
Apprentissage par Additivité
Principe fondamental du Gradient Boosting où le modèle final est la somme pondérée de prédictions de multiples apprenants faibles, chacun ajouté pour améliorer la performance globale.
Taux d'Apprentissage (Learning Rate)
Hyperparamètre qui contrôle l'influence de chaque apprenant faible sur le modèle final, agissant comme un facteur de pondération pour éviter le surapprentissage.
Résidus
Erreurs de prédiction du modèle actuel, calculées comme la différence entre les valeurs observées et les prédictions, sur lesquelles le prochain apprenant faible est entraîné en Gradient Boosting.
Nombre d'Estimateurs
Hyperparamètre définissant le nombre d'apprenants faibles (itérations) à construire dans le modèle de Gradient Boosting, influençant directement la complexité et la performance.
XGBoost (Extreme Gradient Boosting)
Implémentation optimisée et parallélisée du Gradient Boosting qui intègre la régularisation, le traitement des valeurs manquantes et des techniques d'élagage d'arbres pour une efficacité supérieure.
LightGBM
Framework de Gradient Boosting qui utilise une technique de croissance d'arbres par feuilles (leaf-wise) plutôt que par niveau (level-wise), offrant une vitesse d'entraînement accrue et une consommation mémoire réduite.
CatBoost
Algorithme de Gradient Boosting spécialisé dans le traitement efficace des variables catégorielles, utilisant des techniques de codage ordonné et des schémas de boosting asymétriques.
Gradient Boosting Estocástico
Variante do Gradient Boosting onde cada aprendiz fraco é treinado em um subconjunto aleatório dos dados de treinamento, reduzindo a correlação entre as árvores e melhorando a generalização.
Subamostragem de Características
Técnica de regularização no Gradient Boosting que consiste em considerar apenas um subconjunto aleatório das variáveis preditivas para cada divisão de nó de árvore, limitando o sobreajuste.
Profundidade Máxima da Árvore
Hiperparâmetro que controla a complexidade de cada aprendiz fraco limitando o número de divisões de decisão, equilibrando o viés e a variância nos modelos de Gradient Boosting.
Pseudo-Resíduos
Generalização dos resíduos no Gradient Boosting, representando o gradiente negativo da função de perda em relação às previsões atuais, permitindo a otimização para várias funções de perda.
Boosting de Regressão
Aplicação do Gradient Boosting a problemas de regressão onde o objetivo é prever valores contínuos, utilizando tipicamente uma função de perda quadrática ou absoluta.
Boosting de Classificação
Aplicação do Gradient Boosting a problemas de classificação, utilizando funções de perda específicas como a log-loss (entropia cruzada) para guiar a otimização das probabilidades de classe.
Regularização L1/L2
Técnicas de penalização adicionadas à função de perda no Gradient Boosting para controlar a complexidade dos pesos das folhas das árvores, reduzindo o sobreajuste e melhorando a robustez.