Glossário IA
O dicionário completo da Inteligência Artificial
Linformers
Arquitetura transformer com complexidade linear usando uma projeção de chaves e valores em uma dimensão reduzida k << n, permitindo processar sequências muito longas de forma eficiente.
Performers
Modelos que utilizam a atenção FAVOR+ (FAst Attention Via Positive Orthogonal Random Features) para aproximar a atenção softmax com complexidade linear, preservando as propriedades matemáticas.
Sinkhorn Attention
Aproximação da atenção usando o algoritmo de Sinkhorn-Knopp para calcular uma matriz de atenção duplamente estocástica com complexidade reduzida, aplicável a sequências muito longas.
Low-Rank Attention
Método que fatoriza a matriz de atenção completa em um produto de matrizes de baixo rank, reduzindo o número de parâmetros e a complexidade computacional de O(n²) para O(nr).
Memory-based Attention
Arquitetura que utiliza uma memória comprimida externa de tamanho fixo para armazenar informações relevantes de tokens passados, permitindo atenção em sequências arbitrariamente longas.
Sparse Factorized Attention
Decomposição da atenção completa em um produto de várias matrizes esparsas (tipicamente locais e globais), permitindo uma aproximação controlada com complexidade quase linear.