Glossário IA
O dicionário completo da Inteligência Artificial
Apenas Decodificador
Estrutura de rede neural composta exclusivamente por blocos de decodificadores Transformer, utilizada para tarefas de geração de texto em modo autorregressivo.
Pré-treinamento Autorregressivo
Fase de treinamento onde o modelo aprende as probabilidades condicionais de uma sequência maximizando a verossimilhança de prever cada token dado o seu contexto.
Ajuste Fino por Instruções
Processo de adaptação de um modelo pré-treinado em um conjunto de dados de pares (instrução, saída) para melhorar sua capacidade de seguir comandos específicos.
Modelo Instruct (Instruct Model)
Variante de um modelo base ajustado para melhor compreender e executar instruções, otimizado para diálogo e assistência conversacional.
Decodificação por Busca em Feixe (Beam Search)
Algoritmo de decodificação heurística que mantém um conjunto de 'k' sequências candidatas mais prováveis a cada etapa para melhorar a coerência da geração.
Amostragem de Núcleo (Nucleus Sampling / Top-p)
Técnica de amostragem que restringe a escolha do próximo token a um conjunto de tokens cuja probabilidade cumulativa excede um limiar 'p', equilibrando diversidade e coerência.
Temperatura de Decodificação
Parâmetro que controla a aleatoriedade da geração dividindo os logits antes da aplicação da função softmax, onde um valor elevado aumenta a criatividade.
Codificação Posicional Absoluta
Método de incorporação da posição de um token em uma sequência, utilizando vetores sinusoidais fixos ou aprendidos, essencial para modelos autorregressivos.
Cache KV (Cache Chave-Valor)
Otimização computacional que armazena as chaves e valores dos tokens anteriores para evitar recalcular os estados de atenção durante a geração autorregressiva sequencial.
Aprendizagem Few-Shot (Aprendizagem no Contexto)
Capacidade de um modelo aprender uma nova tarefa a partir de alguns exemplos fornecidos diretamente no contexto do prompt, sem atualização dos pesos da rede.
Viés de Exposição (Exposure Bias)
Fenômeno onde os modelos autorregressivos, treinados para prever o próximo token a partir de dados reais, acumulam erros durante a inferência porque são expostos às suas próprias previsões errôneas.