Glossário IA
O dicionário completo da Inteligência Artificial
Mecanismo de Atenção
Fundamento matemático que permite aos modelos ponderar a importância relativa dos elementos numa sequência de dados.
Autoatenção
Mecanismo onde cada elemento de uma sequência calcula sua atenção em relação a todos os outros elementos da mesma sequência.
Atenção Multi-Cabeça
Extensão da atenção que utiliza múltiplas cabeças de atenção em paralelo para capturar diferentes tipos de relações.
Codificação Posicional
Técnica de incorporação da posição sequencial dos elementos nos embeddings sem usar RNNs.
Arquitetura Codificador-Decodificador
Estrutura fundamental dos Transformers que separa o processamento de entrada (codificador) e a geração de saída (decodificador).
Escalonamento da Atenção
Normalização pela raiz quadrada da dimensionalidade para estabilizar o treinamento e evitar gradientes explosivos.
Cross-Attention
Mecanismo de atenção entre duas sequências diferentes, utilizado em tarefas de tradução e multimodais.
Atenção Esparsa
Variante de atenção calculada apenas em um subconjunto de posições para reduzir a complexidade computacional.
Máscaras de Atenção
Mecanismos de controle que permitem mascarar certas posições durante o cálculo da atenção para evitar vazamentos de informação.
Transformadores de Visão
Adaptação da arquitetura Transformer para tarefas de visão computacional, tratando as imagens como sequências de patches.
Atenção Eficiente
Conjunto de otimizações que visam reduzir a complexidade quadrática da atenção padrão para sequências mais longas.
Atenção Hierárquica
Estrutura de atenção multinível que captura relações em diferentes escalas hierárquicas nos dados.