Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Adapter Layers
Modules neuronaux légers insérés entre les couches d'un modèle pré-entraîné pour l'adapter à de nouvelles tâches. Ces couches supplémentaires sont les seules entraînées lors du fine-tuning, préservant ainsi les connaissances originales du modèle.
Progressive Fine-tuning
Stratégie d'adaptation où le fine-tuning commence par les couches supérieures du modèle puis progresse progressivement vers les couches inférieures. Cette approche aide à préserver les représentations fondamentales tout en adaptant les couches spécialisées.
Task-specific Head
Module additionnel ajouté à un modèle pré-entraîné pour l'adapter à une tâche spécifique comme la classification ou la génération. Cette tête est généralement entraînée séparément ou en combinaison avec un fine-tuning partiel du modèle.
Layer Freezing
Technique consistant à maintenir les poids de certaines couches d'un modèle inchangés pendant le fine-tuning. Cette approche permet de préserver les connaissances fondamentales tout en adaptant uniquement les couches supérieures à la nouvelle tâche.