Glossário IA
O dicionário completo da Inteligência Artificial
Matrizes de baixo rank
Representação matemática onde uma matriz é expressa como produto de duas matrizes menores de rank reduzido. Esta decomposição permite reduzir o número de parâmetros necessários enquanto captura a informação essencial das transformações.
Eficiência de memória
Otimização do uso da memória RAM e VRAM durante o treinamento e inferência de modelos de IA. Técnicas como LoRA permitem reduzir drasticamente o consumo de memória limitando os parâmetros modificados.
Parâmetros treináveis
Subconjunto dos pesos de uma rede neural que são efetivamente modificados durante o processo de aprendizagem. No LoRA, apenas uma pequena porcentagem (tipicamente 0,1-1%) dos parâmetros totais são treináveis.
Decomposição de rank
Técnica algébrica que fatoriza uma matriz de pesos W em W + BA onde B e A são matrizes de baixo rank. Esta decomposição constitui o fundamento matemático da adaptação LoRA.
Fine-tuning eficiente
Paradigma de adaptação de modelos pré-treinados visando minimizar os recursos computacionais e de memória necessários. Métodos como LoRA, Adapters ou Prefix-tuning permitem especializar modelos sem modificar todos os seus parâmetros.
PEFT (Parameter-Efficient Fine-Tuning)
Categoria de técnicas de adaptação de modelos visando modificar um mínimo de parâmetros durante o fine-tuning. LoRA é uma das abordagens PEFT mais populares com os Adapters, Prefix-tuning e os prompts soft.
Fator de escala alpha
Hiperparâmetro crucial no LoRA controlando a amplitude da adaptação aplicada aos pesos originais. Este fator de escala ajusta a influência relativa das matrizes de baixo rank em relação aos pesos pré-treinados.
Multi-LoRA
Arquitetura permitindo aplicar simultaneamente várias adaptações LoRA especializadas a um mesmo modelo base. Esta abordagem facilita a troca rápida entre diferentes tarefas ou domínios de especialização sem recarregamento completo do modelo.
Adaptação zero-shot
Capacidade de um modelo adaptado com LoRA de generalizar para tarefas ou domínios não vistos durante o treinamento de adaptação. Esta propriedade emerge da preservação dos conhecimentos gerais do modelo base enquanto adiciona especializações direcionadas.
Hiperparâmetro de rank LoRA
Parâmetro que determina a dimensão das matrizes de baixo rank na decomposição LoRA, controlando o compromisso entre expressividade e eficiência. Ranks típicos variam de 4 a 64 dependendo da complexidade da tarefa de adaptação.
Fusão de pesos
Processo de integração das adaptações LoRA nos pesos do modelo base para eliminar a sobrecarga computacional durante a inferência. Esta fusão permite recuperar um modelo padrão com o mesmo desempenho da versão adaptada.