Glossário IA
O dicionário completo da Inteligência Artificial
242
categorias
3.306
subcategorias
39.932
termos
termos
Matrizes de Projeção
Matrizes de pesos treináveis Wq, Wk, Wv que transformam os embeddings de entrada em espaços de Query, Key, Value, e Wo que combina as saídas de diferentes cabeças de atenção.
termos
Transformer Pré-LN
Variante de arquitetura onde a normalização de camada é aplicada antes da atenção e do feed-forward, em vez de depois, oferecendo melhor estabilidade de treinamento para modelos profundos.
🔍