Glossário IA
O dicionário completo da Inteligência Artificial
AutoInt
Arquitetura de rede neural profunda projetada para modelar automaticamente interações de características de alta ordem em dados tabulares, utilizando um mecanismo de atenção multi-cabeças.
Mecanismo de Atenção Multi-Cabeças
Módulo que permite ao modelo focar-se simultaneamente em diferentes posições da sequência de entrada, aprendendo múltiplas representações de atenção em paralelo para capturar dependências complexas.
Interação de Características de Alta Ordem
Combinação não-linear de três ou mais variáveis de entrada, cuja captura é essencial para melhorar o poder preditivo dos modelos em dados estruturados complexos.
Embedding de Características
Representação vetorial densa e de baixa dimensão de características categóricas, permitindo ao modelo tratar essas variáveis como entradas contínuas e aprender suas relações semânticas.
Rede de Interação
Sub-rede dentro do AutoInt responsável pelo cálculo explícito das interações entre os vetores de embedding das características, antes da aplicação do mecanismo de atenção.
Valor de Atenção
Pontuação ponderada calculada pelo mecanismo de atenção que quantifica a importância de uma característica ou interação específica para a previsão final do modelo.
Pooling de Atenção
Operação de agregação que utiliza os pesos de atenção para combinar as representações das características, produzindo um vetor de contexto que destaca as informações mais relevantes.
Aprendizagem por Interação Automática
Paradigma onde o modelo descobre e hierarquiza por si mesmo as interações de características relevantes sem a necessidade de engenharia manual ou especificação a priori.
Vetor de Consulta (Query Vector)
No mecanismo de atenção, vetor que representa o estado atual do modelo e é usado para calcular a pontuação de compatibilidade com cada vetor chave (key).
Vetor de Chave (Key Vector)
Representação de uma característica ou interação candidata, usada para ser comparada com o vetor de consulta a fim de determinar seu nível de atenção.
Vetor de Valor (Value Vector)
Vetor contendo a informação real de uma característica, que é ponderada pela pontuação de atenção e agregada para formar a saída do mecanismo de atenção.
Produto Escalar Escalonado
Função de similaridade utilizada na atenção para calcular as pontuações, onde o produto escalar é dividido pela raiz quadrada da dimensão dos vetores para estabilizar o treinamento.
Resíduo e Normalização de Camada
Técnica de arquitetura onde a saída de uma camada é adicionada à sua entrada (conexão residual) e depois normalizada, facilitando o treinamento de redes profundas como AutoInt.
Interação Cruzada (Cross Interaction)
Operação específica no AutoInt que calcula as interações entre pares de características usando uma multiplicação elemento a elemento seguida de uma transformação linear.
Cabeça de Atenção (Attention Head)
Um dos múltiplos mecanismos de atenção funcionando em paralelo em um módulo multi-cabeças, cada um aprendendo a focar em diferentes aspectos das interações de características.
Agregação de Cabeças
Processo de concatenação ou média das saídas de todas as cabeças de atenção para formar uma representação unificada antes de passá-la para a próxima camada.
Modelagem de Dependências de Longo Alcance
Capacidade do mecanismo de atenção de capturar relações entre características distantes no espaço de embedding, superando as limitações de modelos locais como as CNNs.
Interpretabilidade por Mapa de Atenção
Método para visualizar e compreender as decisões do modelo analisando os pesos de atenção, revelando quais interações de características foram as mais influentes.