Glossário IA
O dicionário completo da Inteligência Artificial
Codificador Bidirecional
Componente que processa a totalidade da sequência de entrada simultaneamente, permitindo que cada token preste atenção a todos os outros tokens, tanto passados quanto futuros, para uma compreensão contextual completa.
Decodificador Auto-Regressivo
Mecanismo de geração onde o decodificador produz a sequência de saída token por token, baseando-se apenas nos tokens previamente gerados e na representação contextual do codificador.
Mecanismo de Atenção Cruzada
Processo no decodificador que lhe permite focar em partes específicas da saída do codificador, ponderando a importância de cada token de entrada para gerar o token de saída atual.
Mascaramento Causal
Técnica aplicada no decodificador para impedir que cada posição preste atenção às posições futuras, garantindo assim a natureza auto-regressiva da geração e a ausência de vazamento de informação.
Rede Feed-Forward (Passe-adiante)
Rede neural totalmente conectada aplicada a cada posição de forma independente após o mecanismo de atenção, permitindo uma transformação não linear e uma projeção para uma dimensão superior.
Normalização por Camada (Layer Normalization)
Técnica de regularização que estabiliza as ativações normalizando as características para cada exemplo individualmente, acelerando a convergência e melhorando o desempenho geral do modelo.
Bottleneck do Codificador
Representação vetorial de dimensão fixa, frequentemente a saída final do codificador, que condensa toda a informação da sequência de entrada e serve como contexto único para o decodificador na geração.
Embeddings de Token
Vetores densos de alta dimensão que representam cada token discreto do vocabulário em um espaço contínuo, capturando informações semânticas e sintáticas aprendidas durante o treinamento.