Glossário IA
O dicionário completo da Inteligência Artificial
Pilha de Codificadores
Empilhamento de camadas idênticas que transformam a sequência de entrada em representações ricas e contextuais, cada camada contendo atenção e feed-forward.
Pilha de Decodificadores
Arquitetura composta por camadas que geram a sequência de saída, utilizando atenção mascarada para prevenir vazamento de informações futuras e atenção cruzada com o codificador.
Atenção Codificador-Decodificador
Mecanismo que permite ao decodificador acessar e focar nas representações do codificador para gerar cada token de saída de forma informada.
Normalização de Camada
Técnica de estabilização do treinamento que normaliza as ativações para cada posição, aplicada antes ou depois das subcamadas na arquitetura transformer.
Autoatenção Mascarada
Variante da autoatenção utilizada em decodificadores onde as posições futuras são mascaradas para prevenir o uso de informações não disponíveis durante a geração.
Atenção por Produto Escalar Escalonado
Cálculo de atenção que normaliza os produtos escalares pela raiz quadrada da dimensão das chaves para estabilizar os gradientes durante o treinamento.
Cabeças de Atenção
Subespaços independentes na atenção multi-cabeça, cada um aprendendo a focar em diferentes tipos de relações e padrões nos dados.
Embedding de Token
Representação vetorial densa e contínua de cada token de entrada, ponto de partida da arquitetura transformer antes da adição de informações posicionais.