Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Convergence Rate
Mesure de la vitesse à laquelle l'algorithme d'apprentissage fédéré atteint une solution optimale ou un point stationnaire, influencée par l'hétérogénéité des données et la communication entre clients.
Local Updates
Nombre d'itérations d'optimisation effectuées localement sur chaque client avant la communication avec le serveur central, impactant directement la convergence et l'efficacité computationnelle.
Global Model
Modèle agrégé résultant de la fédération des contributions de tous les clients participants, représentant la connaissance collective du système distribué.
Gradient Compression
Technique réduisant la taille des gradients transmis entre clients et serveur par quantification ou échantillonnage, améliorant l'efficacité de communication tout en préservant la convergence.
Differential Privacy
Cadre théorique garantissant la confidentialité en ajoutant du bruit contrôlé aux mises à jour locales, impactant le compromis entre privacy et convergence du modèle fédéré.
Byzantine Fault Tolerance
Robustesse du système face à clients malveillants ou défaillants envoyant des mises à jour incorrectes, nécessitant des mécanismes de détection et d'agrégation résistants.
Asynchronous Federated Learning
Paradigme d'entraînement où les clients mettent à jour le modèle global de manière asynchrone, réduisant les temps d'attente mais complexifiant l'analyse de convergence.
Model Heterogeneity
Gestion de l'hétérogénéité architecturale entre modèles clients dans les systèmes fédérés, nécessitant des stratégies d'agrégation adaptées pour garantir la convergence.
Convergence Analysis
Étude théorique des conditions garantissant la convergence des algorithmes fédérés, prenant en compte l'hétérogénéité des données, les défaillances et les contraintes de communication.
Optimization Landscape
Surface de perte collective dans l'apprentissage fédéré, caractérisée par des optima locaux multiples due à la distribution non-iid des données entre clients.
Client Sampling
Stratégie de sélection d'un sous-ensemble de clients à chaque round d'entraînement, influençant la vitesse de convergence et l'équité de représentation dans le modèle global.
Momentum in Federated Learning
Technique d'accélération de convergence utilisant l'historique des gradients locaux ou globaux pour stabiliser et accélérer l'optimisation dans les environnements distribués.
Convergence Guarantees
Propriétés théoriques assurant que l'algorithme fédéré convergera sous certaines conditions, incluant des bornes sur le taux de convergence et la qualité finale du modèle.
Federated Optimization
Discipline étudiant les méthodes d'optimisation spécifiques aux contraintes de l'apprentissage fédéré, combinant théorie de l'optimisation et systèmes distribués.
System Heterogeneity
Variabilité des capacités computationnelles et réseau entre clients, impactant directement les stratégies de convergence et nécessitant des approches adaptatives.