Glossário IA
O dicionário completo da Inteligência Artificial
Concatenação e Projeção Linear
Etapa final da atenção multi-cabeça onde as saídas de todas as cabeças são concatenadas e depois projetadas linearmente para restaurar a dimensão do modelo, fundindo assim as informações de diferentes subespaços.
Atenção Causal (Self-Attention Mascarada)
Tipo de self-attention usado em decodificadores onde uma atenção mascarada é aplicada para impedir que um token se atente a tokens futuros, garantindo a natureza auto-regressiva do modelo.
Dimensão da Cabeça (d_k)
Dimensão dos vetores de chave e valor em cada cabeça de atenção, calculada dividindo a dimensão do modelo pelo número de cabeças, influenciando a capacidade de representação de cada cabeça.
Atenção Linearizada
Família de mecanismos de atenção que reescrevem o cálculo da atenção para evitar a materialização da matriz de atenção completa, permitindo uma complexidade linear em relação ao comprimento da sequência.