KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
Cross-stitch Units
Unités linéaires qui combinent les activations de modèles spécifiques à chaque tâche pour permettre un partage de connaissances flexible, apprenant une combinaison linéaire de représentations de tâches distinctes.
Shared Bottom Architecture
Architecture multi-tâches avec une base partagée commune qui alimente plusieurs tours (towers) spécifiques à chaque tâche, optimisant l'équilibre entre partage de connaissances et spécialisation.
Parameter Tying
Contrainte qui force différents ensembles de paramètres dans un modèle à être identiques, utilisée pour partager efficacement des représentations entre tâches ou différentes parties d'un même modèle.
Multi-gate Mixture-of-Experts (MMoE)
Architecture où chaque tâche possède sa propre porte (gate) pour sélectionner et pondérer les sorties d'un ensemble partagé d'experts, permettant un partage de paramètres sélectif et adaptatif.
Layer-wise Sharing
Stratégie de partage où différentes couches d'un réseau peuvent être partagées ou spécifiques à des tâches, permettant un contrôle granulaire du compromis entre transfert de connaissances et performance individuelle.
Shared Embedding Layer
Couche d'embedding unique utilisée par plusieurs tâches pour représenter les mêmes entités d'entrée (mots, items, etc.), favorisant l'apprentissage de représentations sémantiques riches et réutilisables.
Attention-based Sharing
Mécanisme où des couches d'attention partagées apprennent à pondérer dynamiquement l'importance des caractéristiques pour différentes tâches, permettant un partage contextuel des représentations.
Gated Sharing Mechanism
Système utilisant des portes apprenables pour contrôler le flux d'informations entre les couches partagées et spécifiques aux tâches, régulant dynamiquement le degré de partage de paramètres.
Parameter Isolation Layers
Couches spécifiques conçues pour isoler les paramètres sensibles aux tâches tout en permettant le partage des représentations de base, réduisant l'interférence négative entre tâches.
Dynamic Task Routing
Mécanisme qui achemine sélectivement les entrées à travers différents sous-réseaux partagés en fonction de la tâche, optimisant l'utilisation des paramètres partagés pour des ensembles de tâches hétérogènes.
Shared Convolutional Base
Ensemble de couches convolutives partagées entre plusieurs tâches de vision par ordinateur, extrayant des caractéristiques visuelles fondamentales avant des têtes de classification spécifiques à chaque tâche.
Multi-task Feature Learning
Processus d'apprentissage où les caractéristiques sont optimisées conjointement pour améliorer la performance sur plusieurs tâches, exploitant les corrélations et les régularisations implicites entre tâches.