Glossário IA
O dicionário completo da Inteligência Artificial
Atenção Mascarada
Variante da autoatenção usada no decodificador para impedir que cada posição preste atenção nas posições seguintes, garantindo uma geração autorregressiva e a prevenção de vazamentos de informação.
Codificador-Decodificador Bidirecional
Arquitetura onde o codificador processa a sequência de entrada em ambas as direções (contexto esquerdo e direito) para criar uma representação completa, enquanto o decodificador gera a saída de forma autorregressiva.
Embedding de Token
Representação vetorial densa de cada token de entrada, aprendida durante o treinamento, que captura informações semânticas e sintáticas e serve como ponto de partida para as camadas de atenção.
Taxa de Aprendizagem Cosseno
Estratégia de agendamento da taxa de aprendizagem que decresce de acordo com uma função cosseno, com uma fase de aquecimento inicial, mostrando melhor desempenho de convergência para modelos Transformer.
Mecanismo de Chave-Valor-Consulta
Abstração fundamental do mecanismo de atenção onde cada token é projetado em três vetores: a consulta (o que procuro), a chave (o que tenho) e o valor (o que retorno), para calcular os pesos de atenção.