एआई शब्दावली

📖

शब्द

Distributed Machine Learning

Paradigme computationnel où l'entraînement des modèles ML est réparti sur plusieurs nœuds de calcul pour traiter des volumes de données massifs et réduire le temps d'entraînement.

📖

शब्द

Parameter Server

Architecture de distribution où les paramètres du modèle sont centralisés sur des serveurs dédiés pendant que les workers calculent les gradients localement.

📖

शब्द

Data Parallelism

Technique où les données sont partitionnées entre différents calculateurs qui exécutent le même modèle sur différents sous-ensembles de données en parallèle.

📖

शब्द

Model Parallelism

Approche où un seul modèle est divisé entre plusieurs machines, chaque portion traitant une partie spécifique du réseau de neurones ou de l'algorithme.

📖

शब्द

Gradient Descent Distributed

Variante de la descente de gradient où les calculs de gradients sont distribués sur plusieurs nœuds avant agrégation pour mettre à jour les poids du modèle.

📖

शब्द

Sharding

Technique de partitionnement horizontal des données où le dataset est divisé en fragments distribués sur différents nœuds pour un traitement parallèle efficace.

📖

शब्द

Synchronous Training

Méthode d'entraînement distribuée où tous les workers synchronisent leurs gradients à chaque étape, garantissant cohérence mais pouvant créer des goulots d'étranglement.

📖

शब्द

Asynchronous Training

Approche où les workers mettent à jour les paramètres du modèle de manière indépendante sans attendre les autres, améliorant la vitesse au prix de consistance éventuelle.

📖

शब्द

Distributed Deep Learning

Ensemble de techniques permettant l'entraînement de réseaux de neurones profonds sur des clusters de machines pour traiter des datasets et modèles massifs.

📖

शब्द

Dask

Bibliothèque de calcul parallèle flexible pour Python qui étend pandas et NumPy à des datasets plus grands que la mémoire en utilisant des graphes de tâches distribués.

📖

शब्द

TensorFlow Distributed

Stratégies intégrées de TensorFlow permettant l'entraînement distribué de modèles sur plusieurs GPU et machines avec synchronisation automatique des variables.

📖

शब्द

PyTorch Distributed

Module DistributedDataParallel de PyTorch permettant l'entraînement distribué efficace avec communication inter-processus optimisée via NCCL et Gloo.

📖

शब्द

Hadoop YARN

ResourceManager d'Hadoop qui orchestre l'allocation des ressources et la gestion des applications dans un environnement de calcul distribué pour le Big Data.