Glossário IA
O dicionário completo da Inteligência Artificial
Fine-Tuning de Baixo Rank (LoRA)
Método de adaptação de modelo que congela os pesos pré-treinados e injeta pequenas matrizes decomponíveis de rank reduzido, permitindo adaptar eficientemente um LLM a novas tarefas com muito poucos parâmetros treináveis.
Treinamento por Eficiência de Parâmetros (PEFT)
Paradigma de treinamento que consiste em ajustar apenas uma fração ínfima dos parâmetros de um grande modelo pré-treinado, tornando o fine-tuning acessível em hardware de consumo, preservando o conhecimento do modelo base.
Poda Estruturada
Técnica de poda de modelo que remove componentes inteiros e coerentes (cabeças de atenção, neurônios, camadas) em vez de pesos individuais, a fim de reduzir o tamanho computacional, mantendo uma arquitetura compatível com aceleradores de hardware.
Treinamento Progressivo de Camadas
Estratégia de treinamento onde as camadas do modelo são introduzidas e ativadas sequencialmente, começando com uma rede rasa e adicionando progressivamente profundidade para estabilizar o aprendizado e reduzir as necessidades iniciais de recursos.
Otimizador Eficiente em Memória (Memory-Efficient Optimizer)
Variante de otimizador (como Adafactor ou Adam de 8 bits) que reduz a pegada de memória dos estados do otimizador, evitando armazenar momentos para todos os parâmetros, o que é crucial para treinar grandes modelos em GPUs limitadas.
Verificação de Gradiente (Gradient Checkpointing)
Técnica de compromisso computação-memória que omite o salvamento das ativações intermediárias durante a passagem para frente, para recalculá-las durante a passagem para trás, reduzindo drasticamente o uso da memória da GPU ao custo de um tempo de computação aumentado.
Aprendizagem Auto-Supervisionada em Corpus Brutos
Abordagem de pré-treinamento que aproveita vastas quantidades de dados textuais não rotulados, criando tarefas de previsão intrínsecas (como mascaramento de palavras), permitindo construir as bases do modelo sem depender de dados anotados caros.
Ajuste de Instruções por Pares (Instruction Tuning by Pairs)
Método de fine-tuning que utiliza pares de exemplos (instrução, saída desejada) para alinhar o modelo a uma variedade de tarefas, melhorando sua capacidade de seguir diretrizes usando um número limitado de dados demonstrativos.
Poda de Cabeças de Atenção
Especialização da poda que identifica e remove as cabeças de atenção nos mecanismos de Transformer que menos contribuem para o desempenho do modelo, reduzindo assim a complexidade computacional da camada de autoatenção.
Destilação de Conhecimento Multitarefa
Variante da destilação onde um único modelo estudante aprende a imitar as saídas de um conjunto de modelos professores especializados em diferentes tarefas, adquirindo assim versatilidade com baixo custo computacional.
Treinamento com Dados Sintéticos
Estratégia que consiste em gerar artificialmente grandes volumes de dados de treinamento (texto, pares pergunta-resposta) usando um LLM poderoso, para então treinar ou refinar um modelo menor, reduzindo a dependência de dados reais.
Otimização de Memória por Descarregamento de Ativação
Técnica que move as ativações intermediárias da memória GPU rápida para a memória CPU mais lenta (ou disco) durante o treinamento, permitindo executar modelos maiores do que a capacidade da GPU normalmente permitiria.
Ajuste por Adaptação de Prefixo (Prefix-Tuning)
Método PEFT que consiste em pré-treinar apenas um pequeno vetor de tokens de prefixo adicionado à entrada de cada camada do Transformer, guiando o comportamento do modelo congelado para uma tarefa específica com um custo insignificante.
Treinamento por Acumulação de Gradiente
Processo que simula um tamanho de lote (batch size) maior acumulando os gradientes em várias passagens para frente com pequenos lotes, antes de realizar uma única etapa de atualização dos pesos, contornando assim as limitações de memória da GPU.
Compressão de Vocabulário
Técnica que reduz o tamanho da camada de embedding ao fundir tokens raros ou semanticamente próximos, diminuindo assim o número de parâmetros e a memória necessária para armazenar as representações de palavras do modelo.
Fine-Tuning por Adversários (Adversarial Tuning)
Abordagem que utiliza um modelo adversário para gerar exemplos difíceis ou ataques, a fim de treinar um modelo estudante para ser mais robusto e performático com menos dados, focando nos casos limite.