Glossário IA
O dicionário completo da Inteligência Artificial
ALiBi (Atenção com Vieses Lineares)
Método alternativo à codificação posicional tradicional que adiciona vieses lineares às pontuações de atenção com base na distância entre as posições, permitindo uma melhor extrapolação para sequências mais longas.
Viés Posicional
Termo aditivo ou multiplicativo aplicado às pontuações de atenção para levar em conta as relações de posição entre os tokens nos mecanismos de atenção.
Embedding de Posição de Sequência
Representação vetorial que codifica explicitamente a posição de cada elemento em uma sequência, permitindo que o modelo compreenda a ordem sequencial dos dados.
Codificação Temporal
Variante de codificação posicional especificamente projetada para capturar dependências temporais em dados sequenciais temporais, integrando noções de tempo e duração.
Codificação Posicional Contínua
Método de codificação que permite representações posicionais contínuas, podendo interpolar entre posições discretas e gerenciar posições fracionárias.
Codificação Posicional Fixa
Tipo de codificação posicional onde os embeddings são predeterminados e não são modificados durante o treinamento, baseados em fórmulas matemáticas fixas como as funções sinusoidais.
Codificação Posicional Adaptativa
Abordagem de codificação posicional que se adapta dinamicamente ao comprimento da sequência de entrada, permitindo uma melhor generalização para comprimentos de sequência variáveis.
Interpolação Posicional
Técnica para adaptar modelos pré-treinados a sequências mais longas, interpolando linearmente os embeddings posicionais existentes em vez de extrapolar novos.
Interpolação Posicional Sensível ao NTK
Variante aprimorada da interpolação posicional que mantém as propriedades da transformada de Fourier não-uniforme (NTK) para uma melhor preservação das informações de alta frequência.
xPOS (Codificação Posicional de Escalonamento)
Método de codificação posicional que utiliza um escalonamento exponencial para melhor capturar as dependências de longa distância enquanto preserva as informações de posição locais.
Viés de Posição Relativa do T5
Implementação específica de viés de posição relativa utilizada no modelo T5, onde os vieses são aprendidos para diferentes distâncias relativas entre os tokens nos scores de atenção.
Codificação Posicional do Transformer-XL
Mecanismo de codificação posicional recorrente que permite modelar dependências de longa distância reutilizando os estados ocultos dos segmentos anteriores com uma codificação posicional relativa.