Glossário IA
O dicionário completo da Inteligência Artificial
Codificação Posicional Senoidal
Método de codificação posicional que utiliza funções seno e cosseno de diferentes frequências para criar representações de posição únicas, permitindo ao modelo extrapolar para comprimentos de sequência mais longos nunca vistos durante o treinamento.
Codificação Posicional Absoluta
Método tradicional onde cada posição na sequência recebe uma codificação única e fixa baseada na sua posição absoluta, sem considerar as relações espaciais entre os elementos da sequência.
Codificação Posicional Rotativa
Técnica RoPE que aplica uma rotação matricial aos embeddings de consulta e chave baseada nas suas posições absolutas, integrando naturalmente a informação de posição no cálculo da atenção, preservando as propriedades de invariância translacional.
Codificação Posicional Alibi
Método que penaliza as pontuações de atenção com base na distância entre os tokens, adicionando vieses estáticos à matriz de atenção, permitindo uma melhor extrapolação para sequências mais longas sem modificações arquitetónicas complexas.
Codificação Posicional Complexa
Abordagem que utiliza números complexos para representar as posições, onde a rotação no plano complexo codifica a informação de posição, oferecendo uma representação mais expressiva e eficiente para sequências longas.
Embeddings de Posição
Vetores densos que representam a posição de cada token numa sequência, geralmente da mesma dimensão que os embeddings de palavras e adicionados a estes antes de serem passados para o mecanismo de atenção.
Codificação Posicional Fixa
Tipo de codificação posicional onde as representações de posição são predeterminadas e não mudam durante o treinamento, tipicamente baseadas em funções matemáticas como seno/cosseno ou transformações de Fourier.
Codificação Posicional Bidirecional
Técnica que utiliza codificações distintas para as direções esquerda-direita e direita-esquerda, permitindo ao modelo capturar simultaneamente as informações contextuais em ambos os sentidos, como nos modelos BERT.
Codificação Posicional de Fourier
Método baseado em séries de Fourier para representar posições, utilizando diferentes frequências para capturar padrões em diversas escalas temporais ou espaciais na sequência.
Codificação Posicional Gaussiana
Técnica que utiliza funções gaussianas centradas em cada posição para criar codificações contínuas e suaves, particularmente eficaz para modelar relações de posição contínuas nos dados.
Codificação Posicional T5
Variante de codificação posicional utilizada no modelo T5, combinando embeddings de posição aprendidos com escalares de posição para melhorar a representação de posições relativas em tarefas de geração de texto.
Codificação Posicional BERT
Implementação específica utilizada nos modelos BERT, baseada em embeddings de posição aprendidos com um tamanho máximo de 512, adicionados diretamente aos embeddings de tokens antes das camadas do transformador.
Codificação Posicional GPT
Sistema de codificação posicional utilizado nos modelos GPT, inicialmente baseado em embeddings aprendidos e depois evoluído para variantes mais sofisticadas como RoPE em versões mais recentes para uma melhor extrapolação.
Interpolação Posicional
Técnica de extrapolação que permite estender modelos pré-treinados a contextos mais longos, interpolando as codificações posicionais existentes em vez de aprender novas, preservando assim o conhecimento adquirido.