Glossário IA
O dicionário completo da Inteligência Artificial
Autoatenção Multi-Cabeça
Mecanismo fundamental que permite ao modelo focar-se simultaneamente em diferentes posições da sequência com múltiplas representações de atenção.
Codificação Posicional
Técnica que permite integrar informações sobre a posição dos tokens nas sequências, pois os Transformers não possuem recorrência intrínseca.
Arquitetura Encoder-Decoder
Estrutura bidirecional onde o codificador processa a sequência de entrada e o decodificador gera a sequência de saída, utilizada em tarefas de tradução.
BERT e Modelos Masked LM
Modelos pré-treinados com objetivo de mascaramento de tokens, revolucionando o PNL com representações contextuais bidirecionais.
GPT e Modelos Autorregressivos
Arquitetura baseada apenas no decodificador, gerando texto token por token, prevendo o próximo token com base nos anteriores.
Transformadores de Visão (ViT)
Adaptação de Transformers para tarefas de visão computacional, tratando as imagens como sequências de patches.
Atenção Linear e Eficiente
Variantes de atenção que reduzem a complexidade quadrática para complexidade linear para processar sequências mais longas de forma eficiente.
Transformers Multimodais
Arquitetura unificada que processa simultaneamente múltiplas modalidades (texto, imagem, áudio) em um mesmo espaço de representação.
Fine-Tuning e Engenharia de Prompts
Técnicas de adaptação de modelos pré-treinados a tarefas específicas com poucos dados de treinamento.
Interpretabilidade dos Mecanismos de Atenção
Estudo e visualização dos pesos de atenção para compreender as decisões do modelo e identificar as dependências aprendidas.
Transformers para Áudio
Aplicação de arquiteturas Transformer em tarefas de processamento de áudio, reconhecimento de fala e geração musical.
Atenção Esparsa
Variantes de atenção que consideram apenas um subconjunto das posições para reduzir a complexidade computacional e de memória.