Glossário IA
O dicionário completo da Inteligência Artificial
Codificação Posicional Sinusoidal
Método de codificação posicional que utiliza funções senoidais de diferentes frequências para criar representações de posição únicas e determinísticas sem aprendizado de parâmetros.
Codificação Posicional Aprendida
Abordagem onde os embeddings de posição são aprendidos como parâmetros treináveis do modelo, permitindo uma otimização adaptativa aos dados de treinamento específicos.
Codificação Posicional Relativa
Técnica avançada que codifica as distâncias relativas entre os tokens em vez de suas posições absolutas, melhorando a generalização para comprimentos de sequência variáveis.
Codificação Posicional Absoluta
Método tradicional de codificação posicional onde cada posição na sequência recebe um embedding único baseado em seu índice absoluto na sequência.
Codificação Posicional Rotativa (RoPE)
Técnica inovadora que aplica uma rotação matricial aos embeddings de consulta e chave, integrando efetivamente as informações de posição diretamente no mecanismo de atenção.
Codificação Posicional Alibi
Método que penaliza os scores de atenção com base na distância entre os tokens, permitindo uma extrapolação eficaz para comprimentos de sequência mais longos sem retreinamento.
Embeddings de Posição
Vetores densos representando a posição de cada token em uma sequência, adicionados ou concatenados aos embeddings de tokens para fornecer informações de localização espacial ou temporal.
Atenção com Codificação Posicional
Integração da codificação posicional no mecanismo de atenção para permitir que o modelo pondere diferentemente os tokens com base em suas posições relativas na sequência.
Embeddings Posicionais do BERT
Implementação específica de codificação posicional aprendida na arquitetura BERT, usando embeddings de posição treináveis com um comprimento máximo de sequência fixo de 512 tokens.
Codificação Posicional do GPT
Sistema de codificação posicional usado nos modelos GPT, inicialmente baseado em embeddings de posição aprendidos para modelar efetivamente as dependências direcionais no texto.
Codificação Posicional do Transformer
Componente essencial da arquitetura Transformer original usando codificações senoidais para permitir que o modelo use a ordem dos tokens sem mecanismos recorrentes.
Codificação Posicional 3D
Extensão da codificação posicional para dados tridimensionais como volumes ou vídeos, incorporando informações de posição em três eixos espaciais ou temporais.
Codificação Posicional Complexa
Variante avançada usando números complexos para representar as posições, permitindo uma modelagem mais rica das relações espaciais e múltiplas frequências.
Codificação Posicional Hierárquica
Abordagem estruturada que codifica as posições em múltiplos níveis de granularidade, capturando tanto as posições locais quanto globais na sequência.
Codificação Posicional do T5
Implementação específica na arquitetura T5 usando embeddings de posição escalares adicionados aos embeddings de tokens, projetada para simplificar a arquitetura mantendo o desempenho.
Codificação Posicional Relativa do XLNet
Mecanismo sofisticado no XLNet que modela as distâncias relativas entre tokens no cálculo de atenção, permitindo melhor generalização em diferentes comprimentos de sequência.
DeBERTa Disentangled Attention
Inovação no DeBERTa que separa explicitamente o conteúdo e a posição no mecanismo de atenção, usando codificação posicional desenredada para melhorar a representação.
Longformer Positional Encoding
Sistema de codificação posicional adaptado para processamento de longas sequências, combinando embeddings de posição globais e locais para otimizar a atenção de janela deslizante.
Reformer Locality Sensitive Hashing
Técnica especializada no Reformer que usa LSH com codificação posicional para reduzir a complexidade computacional da atenção em sequências muito longas.