Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Distributed Machine Learning
Paradigme computationnel où l'entraînement des modèles ML est réparti sur plusieurs nœuds de calcul pour traiter des volumes de données massifs et réduire le temps d'entraînement.
Parameter Server
Architecture de distribution où les paramètres du modèle sont centralisés sur des serveurs dédiés pendant que les workers calculent les gradients localement.
Data Parallelism
Technique où les données sont partitionnées entre différents calculateurs qui exécutent le même modèle sur différents sous-ensembles de données en parallèle.
Model Parallelism
Approche où un seul modèle est divisé entre plusieurs machines, chaque portion traitant une partie spécifique du réseau de neurones ou de l'algorithme.
Gradient Descent Distributed
Variante de la descente de gradient où les calculs de gradients sont distribués sur plusieurs nœuds avant agrégation pour mettre à jour les poids du modèle.
Sharding
Technique de partitionnement horizontal des données où le dataset est divisé en fragments distribués sur différents nœuds pour un traitement parallèle efficace.
Synchronous Training
Méthode d'entraînement distribuée où tous les workers synchronisent leurs gradients à chaque étape, garantissant cohérence mais pouvant créer des goulots d'étranglement.
Asynchronous Training
Approche où les workers mettent à jour les paramètres du modèle de manière indépendante sans attendre les autres, améliorant la vitesse au prix de consistance éventuelle.
Distributed Deep Learning
Ensemble de techniques permettant l'entraînement de réseaux de neurones profonds sur des clusters de machines pour traiter des datasets et modèles massifs.
Dask
Bibliothèque de calcul parallèle flexible pour Python qui étend pandas et NumPy à des datasets plus grands que la mémoire en utilisant des graphes de tâches distribués.
TensorFlow Distributed
Stratégies intégrées de TensorFlow permettant l'entraînement distribué de modèles sur plusieurs GPU et machines avec synchronisation automatique des variables.
PyTorch Distributed
Module DistributedDataParallel de PyTorch permettant l'entraînement distribué efficace avec communication inter-processus optimisée via NCCL et Gloo.
Hadoop YARN
ResourceManager d'Hadoop qui orchestre l'allocation des ressources et la gestion des applications dans un environnement de calcul distribué pour le Big Data.