Glossário IA
O dicionário completo da Inteligência Artificial
Modelo Autorregressivo
Arquitetura de modelo generativo que prevê o próximo token com base em todos os tokens anteriores, construindo a sequência de maneira iterativa e sequencial.
Janela de Contexto
Tamanho máximo de sequência que o modelo pode processar simultaneamente, limitando a quantidade de informação histórica utilizável para a previsão.
Previsão do Próximo Token
Objetivo fundamental dos modelos autorregressivos consistindo em maximizar a probabilidade condicional P(token_t|tokens_1...t-1).
Amostragem por Temperatura
Técnica de geração que controla o grau de aleatoriedade na seleção do próximo token ajustando a distribuição de probabilidade dos logits.
Amostragem Top-k
Método de geração que limita a seleção aos k tokens mais prováveis, evitando tokens de baixa probabilidade enquanto mantém diversidade.
Amostragem Nucleus
Estratégia de seleção dinâmica baseada em uma massa de probabilidade cumulativa, adaptando o número de candidatos de acordo com a confiança do modelo.
Busca por Feixe
Algoritmo de decodificação que explora simultaneamente várias sequências candidatas para encontrar a sequência global mais provável.
Modelo de Linguagem Causal
Tipo de modelo autorregressivo treinado para prever tokens futuros com base no contexto passado, sem acesso aos tokens futuros durante o treinamento.
Decodificador Apenas Transformer
Arquitetura neural usando apenas camadas de decodificador com mascaramento causal, preferida para modelos de linguagem autorregressivos modernos.
Decodificação Gulosa
Estratégia de geração selecionando sistematicamente o token de probabilidade máxima em cada etapa, garantindo coerência mas podendo faltar criatividade.
Geração Autorregressiva
Processo de geração textual onde cada token produzido é imediatamente adicionado ao contexto para influenciar a geração dos tokens seguintes.
Ajuste Fino de Modelo de Linguagem
Processo de adaptação especializada de um modelo autorregressivo pré-treinado em dados específicos para melhorar seu desempenho em um domínio direcionado.
Aprendizado Zero-shot
Capacidade dos modelos autorregressivos de realizar tarefas não vistas durante o treinamento explorando seus conhecimentos gerais da linguagem.
Cache KV
Mecanismo de otimização armazenando os estados chave-valor dos tokens anteriores para acelerar a geração autorregressiva sequencial.
Comprimento de Sequência Variável
Capacidade dos modelos autorregressivos de gerar sequências de comprimentos diferentes adaptadas dinamicamente de acordo com o conteúdo gerado.