Glossário IA
O dicionário completo da Inteligência Artificial
Mecanismo de Atenção
Permite ao modelo ponderar a importância de diferentes partes da entrada durante o processamento.
Auto-Atenção
Mecanismo onde cada elemento da sequência presta atenção em todos os outros elementos da mesma sequência.
Multi-Head Attention
Extensão do self-attention que utiliza múltiplas cabeças de atenção em paralelo para capturar diferentes tipos de relacionamentos.
Codificação Posicional
Técnica para integrar informações de posição nos embeddings sem usar RNN.
Arquitetura Encoder-Decoder
Estrutura fundamental dos Transformers com encoder para compreender e decoder para gerar.
Scaled Dot-Product Attention
Forma matemática básica do cálculo de atenção nos Transformers com escalonamento.
Redes Feed-Forward
Redes totalmente conectadas aplicadas após cada camada de atenção nos Transformers.
Normalização de Camada
Técnica de normalização aplicada nos Transformers para estabilizar o treinamento.
Máscaras de Atenção
Mecanismo para controlar quais tokens podem se atender a outros tokens.
Vision Transformers (ViT)
Aplicação da arquitetura Transformer ao processamento de imagens dividindo as imagens em patches.
Arquitetura BERT
Transformer encoder-only pré-treinado com objetivos de masked language modeling.
Arquitetura GPT
Transformer decoder-only otimizado para geração de texto de forma autorregressiva
Cross-Attention
Mecanismo de atenção entre duas sequências diferentes nos codificadores-decodificadores.
Atenção Esparsa
Variante da atenção que reduz a complexidade calculando apenas pares seletivos.
Atenção Hierárquica
Arquitetura multinível que aplica a atenção em diferentes escalas de granularidade
Visualização de Atenção
Técnicas para interpretar e visualizar os pesos de atenção dos Transformers.
Otimização de Transformer
Métodos específicos para o treinamento eficiente de grandes modelos Transformers.
Transformadores Multi-Modais
Arquitetura Transformer estendida para processar simultaneamente múltiplos tipos de dados.
Transformers Eficientes
Variantes otimizadas dos Transformers para reduzir a complexidade computacional.
Variantes de Mecanismos de Atenção
Diferentes abordagens e melhorias do mecanismo de atenção além do dot-product.