Glossário IA
O dicionário completo da Inteligência Artificial
Query-Chave-Valor (QKV)
Triple de vetores fundamentais na atenção onde Query busca informações, Key identifica as informações disponíveis, e Value contém as informações a serem extraídas.
Pesos de Atenção
Coeficientes normalizados indicando a importância relativa de cada elemento de entrada, geralmente obtidos após aplicação de softmax aos escores de atenção.
Codificação Posicional
Informações adicionadas aos embeddings para indicar a posição dos tokens em uma sequência, compensando a ausência de recorrência nos transformers.
Atenção Causal
Tipo de atenção mascarada onde cada posição só pode se concentrar nas posições anteriores, usada principalmente em tarefas de geração de texto.
Escore de Atenção
Valor bruto calculado entre uma query e uma chave antes da normalização, quantificando a relevância ou compatibilidade entre estes dois elementos.
Normalização Softmax
Função de ativação aplicada aos escores de atenção para convertê-los em distribuição de probabilidades, garantindo que a soma dos pesos seja igual a 1.
Cabeça de Atenção
Submecanismo individual na atenção multi-cabeça, cada cabeça aprendendo a se concentrar em diferentes aspectos ou relações nos dados.
Matriz de Atenção
Representação bidimensional dos pesos de atenção mostrando como cada elemento de entrada presta atenção a todos os outros elementos da sequência.
Attention por Kernel
Abordagem que utiliza funções de kernel para calcular os pesos de atenção, permitindo relações não lineares mais complexas entre os elementos.
Attention Esparsa
Otimização que reduz o número de conexões de atenção calculadas ao considerar apenas os pares mais relevantes, melhorando a eficiência computacional.