Glossário IA
O dicionário completo da Inteligência Artificial
Mecanismo de Atenção
Conceito fundamental que permite aos modelos ponderar dinamicamente a importância de diferentes partes de uma sequência.
Arquitetura Transformer
Estrutura neural revolucionária baseada exclusivamente em mecanismos de atenção sem redes recorrentes.
Atenção Multi-Cabeça
Extensão do mecanismo de atenção que permite focar simultaneamente em diferentes posições com diferentes representações.
Codificação Posicional
Técnica de codificação de informações de posição em sequências para compensar a ausência de recorrência.
BERT
Modelo Transformer bidirecional pré-treinado para a compreensão da linguagem natural.
GPT
Série de modelos Transformer autorregressivos otimizados para geração de texto e transferência de aprendizado.
Transformers de Visão
Adaptação da arquitetura Transformer para tarefas de visão computacional, tratando as imagens como sequências.
Atenção Ponto-Produto Escalonado
Implementação matemática eficiente do mecanismo de atenção com normalização pela raiz quadrada da dimensão.
Transformers Hierárquicos
Arquiteturas Transformer multi-escala para processar dados estruturados com relações hierárquicas.
Transformers Eficientes
Variantes otimizadas dos Transformers reduzindo a complexidade computacional de quadrática para linear.
Transformers de Áudio
Aplicação de arquiteturas Transformer no processamento de sinal de áudio para reconhecimento de fala e geração musical.
Transformers Multimodais
Modelos Transformer integrando simultaneamente várias modalidades como texto, imagem, áudio e vídeo.
Autoatenção
Mecanismo que permite a cada elemento de uma sequência interagir com todos os outros elementos da mesma sequência.
Cross-Attention
Mecanismo de atenção entre duas sequências diferentes, fundamental para tarefas de tradução e multimodais.
Atenção Esparsa
Variantes de atenção que calculam seletivamente os pesos para reduzir a complexidade computacional.