Quantificação e Otimização

Materialização de Baixo Rank (LoRA)

Método de adaptação eficiente que congela os pesos de um modelo pré-treinado e injeta pequenas matrizes de baixo rank decomponíveis, reduzindo drasticamente o número de parâmetros treináveis para o fine-tuning, preservando o desempenho.

← Voltar