Glossário IA
O dicionário completo da Inteligência Artificial
Autoatenção
Mecanismo fundamental que permite aos transformers calcular dinamicamente a importância relativa de cada elemento em uma sequência em relação aos outros.
Atenção Multi-Cabeça
Extensão da autoatenção onde múltiplas cabeças de atenção operam em paralelo para capturar diferentes tipos de relações nos dados.
Codificação Posicional
Técnica que incorpora a informação de posição sequencial nos embeddings para compensar a ausência de recorrência nos transformers.
Arquitetura Codificador-Decodificador
Estrutura fundamental dos transformadores originais que combina um codificador para processar a entrada e um decodificador para gerar a saída.
BERT (Representações de Codificador Bidirecional)
Família de modelos pré-treinados baseados na arquitetura apenas de codificador com compreensão bidirecional do contexto.
GPT (Generative Pre-trained Transformer)
Arquitetura somente decodificador otimizada para a geração de texto autorregressiva, formando a base dos grandes modelos de linguagem.
Vision Transformers (ViT)
Aplicação de arquiteturas transformer no processamento de imagens, dividindo as imagens em patches e tratando-as como sequências.
Mecanismos de Atenção Esparsa
Variantes de atenção que reduzem a complexidade computacional limitando as conexões entre elementos da sequência.
Cross-Attention
Mecanismo de atenção onde as queries vêm de uma sequência enquanto as chaves e os valores vêm de outra sequência diferente.
Leis de Escala de Transformers
Princípios empíricos que descrevem como o desempenho dos transformers evolui com o tamanho do modelo, dos dados e do cálculo.
Análise das Cabeças de Atenção
Estudo dos papéis especializados das diferentes cabeças de atenção nos transformers para compreender o seu funcionamento interno.
Atenção Hierárquica
Arquitetura de atenção organizada em múltiplos níveis hierárquicos para processar dados estruturados complexos.