Glossário IA
O dicionário completo da Inteligência Artificial
KV Cache
Otimização na inferência que armazena em cache as chaves (keys) e valores (values) dos tokens anteriores para evitar recalcular os estados de atenção a cada nova geração de token.
RLHF (Reinforcement Learning from Human Feedback)
Paradigma de alinhamento onde um modelo é refinado por aprendizagem por reforço, utilizando recompensas derivadas de preferências humanas para calibrar seu comportamento.
Mecanismo de Atenção Multi-cabeças
Extensão da atenção onde múltiplas cabeças calculam em paralelo representações atencionais em diferentes subespaços projetados, permitindo ao modelo focar em diversos aspectos da sequência.
Apenas Decodificador (Decoder-Only)
Arquitetura Transformer constituída exclusivamente por blocos decodificadores com mascaramento causal, otimizada para tarefas de modelagem e geração de linguagem autorregressivas.
Modelagem da Densidade de Probabilidade
Objetivo fundamental dos modelos de linguagem que aprendem a estimar a probabilidade condicional P(token_t | tokens_<t) para cada posição em uma sequência.