Glossário IA
O dicionário completo da Inteligência Artificial
Normalização de Camada
Técnica de regularização que estabiliza o treinamento normalizando as ativações de cada camada, aplicada antes ou depois das subcamadas de atenção e feed-forward.
Mecanismo de Mascaramento
Procedimento que impede que as posições atendam a tokens futuros durante a decodificação auto-regressiva, e/ou que processem tokens de preenchimento em sequências de comprimento variável.
Projeção Query-Key-Value
Transformação linear dos embeddings de entrada em três matrizes distintas (Q, K, V) usadas para calcular os pesos de atenção de acordo com a fórmula softmax(QK^T/√d_k)V.
Codificação Posicional Senoidal
Método de codificação posicional que utiliza funções senoidais de diferentes frequências, permitindo que o modelo extrapole para comprimentos de sequência não vistos.
Arquitetura Apenas Codificador
Variante Transformer que utiliza apenas a pilha de codificadores, projetada para tarefas de compreensão como classificação ou análise de sentimentos (ex: BERT).
Arquitetura Apenas Decodificador
Variante Transformer que utiliza apenas a pilha de decodificadores com mascaramento causal, otimizada para a geração de texto auto-regressiva (ex: GPT).
Efeito Quadrático
Complexidade computacional e de memória O(n²) da atenção padrão em relação ao comprimento da sequência n, constituindo a principal limitação dos Transformers.