Glossário IA
O dicionário completo da Inteligência Artificial
Codificação de Posição
Técnica que adiciona informações de posição absoluta ou relativa aos embeddings de entrada para permitir que o modelo compreenda a ordem dos tokens em uma sequência.
Pré-Normalização de Camada
Variante da normalização de camada aplicada antes das subcamadas de atenção e feed-forward, melhorando a estabilidade de treinamento em Transformers profundos.
Pós-Normalização de Camada
Configuração original da normalização de camada aplicada após as subcamadas de atenção e feed-forward, combinada com conexões residuais.
Normalização RMS
Variante eficiente da normalização de camada que utiliza apenas a raiz quadrada média das ativações, reduzindo a complexidade computacional mantendo o desempenho.
Estrutura Codificador-Decodificador
Arquitetura bidirecional composta por um codificador que processa a sequência de entrada e um decodificador que gera a sequência de saída, base dos modelos Transformer.
LayerNorm Epsilon
Parâmetro de estabilidade numérica adicionado na normalização de camada para evitar divisão por zero durante o cálculo da variância das ativações.