Glosario IA
El diccionario completo de la Inteligencia Artificial
ALiBi (Atención con Sesgos Lineales)
Método alternativo a la codificación posicional tradicional que añade sesgos lineales a las puntuaciones de atención en función de la distancia entre las posiciones, permitiendo una mejor extrapolación a secuencias más largas.
Sesgo Posicional
Término aditivo o multiplicativo aplicado a las puntuaciones de atención para tener en cuenta las relaciones de posición entre los tokens en los mecanismos de atención.
Incrustación de Posición de Secuencia
Representación vectorial que codifica explícitamente la posición de cada elemento en una secuencia, permitiendo que el modelo comprenda el orden secuencial de los datos.
Codificación Temporal
Variante de codificación posicional diseñada específicamente para capturar las dependencias temporales en los datos secuenciales temporales, integrando nociones de tiempo y duración.
Codificación Posicional Continua
Método de codificación que permite representaciones posicionales continuas, pudiendo interpolar entre posiciones discretas y manejar posiciones fraccionarias.
Codificación Posicional Fija
Tipo de codificación posicional donde los embeddings están predeterminados y no se modifican durante el entrenamiento, basado en fórmulas matemáticas fijas como las funciones sinusoidales.
Codificación Posicional Adaptativa
Enfoque de codificación posicional que se adapta dinámicamente a la longitud de la secuencia de entrada, permitiendo una mejor generalización a longitudes de secuencia variables.
Interpolación Posicional
Técnica para adaptar los modelos preentrenados a secuencias más largas interpolando linealmente los embeddings posicionales existentes en lugar de extrapolar nuevos.
Interpolación Posicional Consciente de NTK
Variante mejorada de la interpolación posicional que mantiene las propiedades de la transformada de Fourier no uniforme (NTK) para una mejor preservación de la información de alta frecuencia.
xPOS (Codificación Posicional Escalada)
Método de codificación posicional que utiliza un escalado exponencial para capturar mejor las dependencias a larga distancia mientras se preserva la información de posición local.
Sesgo de Posición Relativa de T5
Implementación específica de sesgo de posición relativa utilizada en el modelo T5, donde se aprenden los sesgos para diferentes distancias relativas entre los tokens en las puntuaciones de atención.
Codificación Posicional de Transformer-XL
Mecanismo de codificación posicional recurrente que permite modelar dependencias a larga distancia reutilizando los estados ocultos de los segmentos anteriores con una codificación posicional relativa.