Glosario IA
El diccionario completo de la Inteligencia Artificial
Linformers
Arquitectura transformer con complejidad lineal utilizando una proyección de claves y valores en una dimensión reducida k << n, permitiendo procesar secuencias muy largas de manera eficiente.
Performers
Modelos que utilizan la atención FAVOR+ (FAst Attention Via Positive Orthogonal Random Features) para aproximar la atención softmax con complejidad lineal mientras se preservan las propiedades matemáticas.
Sinkhorn Attention
Aproximación de la atención utilizando el algoritmo de Sinkhorn-Knopp para calcular una matriz de atención doubly-stochastic con complejidad reducida, aplicable a secuencias muy largas.
Low-Rank Attention
Método que factoriza la matriz de atención completa en producto de matrices de bajo rango, reduciendo el número de parámetros y la complejidad computacional de O(n²) a O(nr).
Memory-based Attention
Arquitectura que utiliza una memoria comprimida externa de tamaño fijo para almacenar la información relevante de los tokens pasados, permitiendo la atención sobre secuencias arbitrariamente largas.
Sparse Factorized Attention
Descomposición de la atención completa en producto de múltiples matrices dispersas (típicamente locales y globales), permitiendo una aproximación controlada con complejidad casi-lineal.