Glossário IA

📖

termos

Rotary Position Embedding

Técnica de codificação posicional que aplica uma rotação complexa aos embeddings com base na sua posição relativa. Preserva as propriedades de invariância absoluta enquanto codifica eficientemente as relações posicionais.

📖

termos

Alibi Position Encoding

Método de codificação posicional que adiciona vieses lineares aos scores de atenção com base na distância entre tokens. Permite uma melhor extrapolação para sequências mais longas sem retreinamento.

📖

termos

Matrizes de Projeção de Atenção

Matrizes de pesos aprendíveis Wq, Wk, Wv e Wo que transformam os embeddings em queries, keys, values e fundem as saídas multi-cabeça. Estas projeções lineares são os principais parâmetros do mecanismo de atenção.