Glossário IA
O dicionário completo da Inteligência Artificial
Modelos de Linguagem Causal
Arquitetura Transformer preditiva que gera texto token por token, condicionando cada previsão nos tokens anteriores, usada em modelos como GPT.
Modelos de Linguagem Mascarada
Abordagem de auto-supervisão onde tokens são mascarados na entrada e o modelo deve prevê-los, permitindo uma aprendizagem bidirecional do contexto.
Modelos Vision-Transformer (ViT)
Adaptação da arquitetura Transformer para o processamento de imagens, substituindo as convoluções por mecanismos de atenção em patches de imagem.
Modelos Multimodais
Transformers capazes de processar e gerar simultaneamente vários tipos de dados (texto, imagem, áudio) usando espaços de embedding compartilhados.
Embeddings de Tokens
Representações vetoriais densas dos tokens de entrada, aprendidas durante o pré-treinamento e que capturam informações semânticas e sintáticas.
Escala de Atenção
Parâmetro que controla a distribuição da atenção nos modelos Transformer, influenciando a concentração ou dispersão do foco contextual.
Modelos de Difusão baseados em Transformer
Integração da arquitetura Transformer no processo iterativo de denoising dos modelos de difusão, melhorando a coerência global da geração.
Retropropagação pela Atenção
Mecanismo que permite analisar e interpretar as decisões dos modelos Transformer visualizando os pesos de atenção entre os tokens.
Modelos de Base (Foundation Models)
Grandes modelos Transformer pré-treinados em dados massivos, servindo como ponto de partida para diversas aplicações através de fine-tuning ou prompting.