Glossário IA
O dicionário completo da Inteligência Artificial
Embeddings Posicionais Aprendidos
Abordagem onde os vetores de posição são parâmetros aprendidos durante o treinamento, ao contrário das funções sinusoidais fixas.
Índice Posicional
Valor numérico inteiro que representa a posição de um token em uma sequência, usado como base para o cálculo do Positional Encoding.
NoPE (Sem Codificação Posicional)
Abordagem experimental que explora o desempenho dos Transformers sem qualquer forma explícita de codificação posicional.
Codificação Posicional 2D
Extensão do Positional Encoding para dados estruturados em duas dimensões, como imagens, codificando as coordenadas (x, y).
Codificação Posicional Causal
Positional Encoding usado em modelos decodificadores autorregressivos onde a atenção é mascarada para ser apenas causal (para a esquerda).
Dropout Posicional
Técnica de regularização que aplica uma camada de dropout especificamente nos embeddings de posição para evitar a superdependência a eles.