AI Glossary
The complete dictionary of Artificial Intelligence
Adapters
Petits modules neuronaux insérés entre les couches d'un Transformer pré-entraîné, dont seuls les paramètres sont entraînés lors du fine-tuning pour adapter le modèle à une nouvelle tâche.
P-Tuning v2
Évolution du prefix-tuning où les paramètres entraînables (prompts continus) sont placés non seulement en entrée mais aussi dans chaque couche du Transformer pour une meilleure performance.
Tree of Thoughts (ToT)
Framework avancé de prompt engineering qui modélise le raisnement comme une exploration d'arbre, permettant au modèle d'évaluer et de choisir entre différents chemins de pensée.
Generated Knowledge Prompting
Technique en deux étapes où le modèle génère d'abord des connaissances factuelles sur un sujet, puis utilise ces connaissances pour répondre à une question, améliorant la précision.
Automatic Prompt Engineer (APE)
Méthode qui utilise un grand modèle de langage pour générer et optimiser automatiquement des prompts pour une tâche donnée, en se basant sur un ensemble de données de validation.
Contrastive Fine-Tuning
Approche d'adaptation qui utilise un objectif de perte contrastive pour rapprocher les embeddings de réponses correctes et éloigner ceux de réponses incorrectes.
Multi-Task Prompt Tuning (MTPT)
Variante du prompt tuning qui apprend un ensemble de prompts partagés pour effectuer simultanément le fine-tuning sur plusieurs tâches, améliorant la généralisation.