Glossário IA
O dicionário completo da Inteligência Artificial
Projeção Linear
Transformação linear aplicada aos embeddings de entrada para gerar os espaços Query, Key e Value em cada cabeça de atenção multi-cabeças.
Mascaramento de Atenção
Técnica aplicando valores infinitamente negativos a certas posições na matriz de atenção para prevenir interações indesejadas entre elementos de sequência.
Concatenação Multi-Cabeça
Operação combinando as saídas de todas as cabeças de atenção concatenando suas representações antes de uma projeção linear final para produzir o output.
Embedding Contextual
Representação vetorial enriquecida gerada pelo mecanismo de atenção que incorpora informações contextuais de toda a sequência para cada elemento.
Dimensão da Cabeça de Atenção
Dimensionalidade reduzida de cada subespaço de atenção em Atenção Multi-Cabeça, tipicamente calculada como dimensão_modelo / número_de_cabeças.
Computação Paralela de Atenção
Processo onde as múltiplas cabeças de atenção são calculadas simultaneamente em paralelo, permitindo uma captura eficiente de diferentes aspectos das relações sequenciais.
Conexão Residual de Atenção
Conexão residual adicionando a entrada original à saída da camada de atenção, facilitando o treinamento de redes profundas preservando o fluxo de informação.
Distribuição de Atenção
Distribuição de probabilidade sobre os elementos da sequência gerada por softmax, indicando onde o modelo 'olha' durante o processamento de um elemento específico.