Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Matrices de faible rang
Représentation mathématique où une matrice est exprimée comme produit de deux matrices plus petites de rang réduit. Cette décomposition permet de réduire le nombre de paramètres nécessaires tout en capturant l'information essentielle des transformations.
Efficacité mémoire
Optimisation de l'utilisation de la mémoire RAM et VRAM lors de l'entraînement et de l'inférence de modèles d'IA. Les techniques comme LoRA permettent de réduire drastiquement la consommation mémoire en limitant les paramètres modifiés.
Paramètres entraînables
Sous-ensemble des poids d'un réseau de neurones qui sont effectivement modifiés pendant le processus d'apprentissage. Dans LoRA, seul un petit pourcentage (typiquement 0.1-1%) des paramètres totaux sont entraînables.
Rank decomposition
Technique algébrique factorisant une matrice de poids W en W + BA où B et A sont des matrices de faible rang. Cette décomposition constitue le fondement mathématique de l'adaptation LoRA.
Fine-tuning efficace
Paradigme d'adaptation de modèles pré-entraînés visant à minimiser les ressources computationnelles et mémoire nécessaires. Les méthodes comme LoRA, Adapters ou Prefix-tuning permettent de spécialiser des modèles sans modifier tous leurs paramètres.
PEFT (Parameter-Efficient Fine-Tuning)
Catégorie de techniques d'adaptation modèles visant à modifier un minimum de paramètres lors du fine-tuning. LoRA est l'une des approches PEFT les plus populaires avec les Adapters, Prefix-tuning et les prompts soft.
Alpha scaling factor
Hyperparamètre crucial dans LoRA contrôlant l'amplitude de l'adaptation appliquée aux poids originaux. Ce facteur d'échelle ajuste l'influence relative des matrices de faible rang par rapport aux poids pré-entraînés.
Multi-LoRA
Architecture permettant d'appliquer simultanément plusieurs adaptations LoRA spécialisées à un même modèle de base. Cette approche facilite le switching rapide entre différentes tâches ou domaines d'expertise sans recharge complet du modèle.
Zero-shot adaptation
Capacité d'un modèle adapté avec LoRA à généraliser à des tâches ou domaines non vus pendant l'entraînement d'adaptation. Cette propriété émerge de la préservation des connaissances générales du modèle de base tout en ajoutant des spécialisations ciblées.
LoRA rank hyperparameter
Paramètre déterminant la dimension des matrices de faible rang dans la décomposition LoRA, contrôlant le compromis entre expressivité et efficacité. Des rangs typiques varient de 4 à 64 selon la complexité de la tâche d'adaptation.
Weight merging
Processus d'intégration des adaptations LoRA dans les poids du modèle de base pour éliminer la surcharge computationnelle pendant l'inférence. Cette fusion permet de retrouver un modèle standard avec les mêmes performances que la version adaptée.