Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Parallélisme de Données
Technique où les données sont réparties sur plusieurs processeurs pour effectuer les mêmes opérations en parallèle.
Parallélisme de Modèle
Approche où différents segments d'un modèle neuronal sont placés sur différents dispositifs de calcul.
Parallélisme Pipeline
Méthode combinant parallélisme de données et de modèle en divisant le modèle en étapes traitées simultanément.
GPU Computing et CUDA
Utilisation des processeurs graphiques et de l'architecture CUDA pour accélérer les calculs d'apprentissage automatique.
Calcul Distribué avec MPI
Interface de passage de messages permettant la communication entre processus pour le calcul distribué à grande échelle.
Frameworks Distribués
Plateformes comme TensorFlow Distributed, PyTorch Distributed et Horovod pour l'entraînement distribué.
Optimisation de Communication
Techniques pour minimiser la bande passante et la latence lors des échanges entre nœuds de calcul.
Stratégies de Synchronisation
Méthodes synchrone, asynchrone et semi-asynchrone pour coordonner les mises à jour de gradients distribués.
Federated Learning
Apprentissage distribué où les modèles s'entraînent localement sur des données décentralisées sans partage.
Équilibrage de Charge
Algorithmes pour répartir uniformément la charge de travail entre les ressources de calcul disponibles.
Orchestration Conteneurs ML
Gestion de conteneurs avec Kubernetes et Docker Swarm pour le déploiement de workloads ML distribués.
Edge Computing pour ML
Calcul distribué proche des sources de données pour réduire la latence et préserver la confidentialité.