Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Parameter-efficient fine-tuning (PEFT)
Méthodes de fine-tuning qui modifient uniquement un petit sous-ensemble de paramètres du modèle tout en gelant la majorité des poids, réduisant ainsi les coûts computationnels et de stockage.
QLoRA (Quantized LoRA)
Variante de LoRA qui combine quantification 4-bit et adaptation de faible rang, permettant le fine-tuning de modèles très volumineux sur des ressources matérielles limitées.
Prefix tuning
Méthode qui optimise uniquement des préfixes continus ajoutés aux séquences d'entrée, sans modifier les poids du modèle, pour adapter son comportement à des tâches spécifiques.
Prompt tuning
Optimisation d'embeddings de prompt appris spécifiquement pour guider le comportement d'un modèle pré-entraîné sans modifier ses paramètres internes.
Instruction fine-tuning
Processus d'entraînement supplémentaire sur des paires instruction-réponse pour apprendre au modèle à suivre précisément les consignes et à générer des réponses appropriées.
DPO (Direct Preference Optimization)
Alternative à RLHF qui optimise directement le modèle à partir de données de préférences humaines sans nécessiter un modèle de récompense intermédiaire, simplifiant le processus d'alignement.