Glosario IA
El diccionario completo de la Inteligencia Artificial
Codificación Posicional Sinusoidal
Método de codificación posicional que utiliza funciones seno y coseno de diferentes frecuencias para crear representaciones de posición únicas, permitiendo al modelo extrapolar a longitudes de secuencia más largas nunca vistas durante el entrenamiento.
Codificación Posicional Absoluta
Método tradicional donde cada posición en la secuencia recibe una codificación única y fija basada en su posición absoluta, sin tener en cuenta las relaciones espaciales entre los elementos de la secuencia.
Codificación Posicional Rotativa
Técnica RoPE que aplica una rotación matricial a los embeddings de consultas y claves basándose en sus posiciones absolutas, integrando naturalmente la información de posición en el cálculo de atención mientras preserva las propiedades de invariancia traslacional.
Codificación Posicional ALiBi
Método que penaliza los scores de atención basados en la distancia entre los tokens añadiendo sesgos estáticos a la matriz de atención, permitiendo una mejor extrapolación a secuencias más largas sin modificaciones arquitectónicas complejas.
Codificación Posicional Compleja
Enfoque que utiliza números complejos para representar las posiciones, donde la rotación en el plano complejo codifica la información de posición, ofreciendo una representación más expresiva y eficiente para las secuencias largas.
Embeddings Posicionales
Vectores densos que representan la posición de cada token en una secuencia, generalmente de la misma dimensión que los embeddings de palabras y añadidos a estos antes de pasar al mecanismo de atención.
Codificación Posicional Fija
Tipo de codificación posicional donde las representaciones de posición están predeterminadas y no cambian durante el entrenamiento, típicamente basadas en funciones matemáticas como seno/coseno o transformaciones de Fourier.
Codificación Posicional Bidireccional
Técnica que utiliza codificaciones distintas para las direcciones izquierda-derecha y derecha-izquierda, permitiendo al modelo capturar simultáneamente la información contextual en ambas direcciones como en los modelos BERT.
Fourier Positional Encoding
Método basado en series de Fourier para representar posiciones, utilizando diferentes frecuencias para capturar patrones a diferentes escalas temporales o espaciales en la secuencia.
Gaussian Positional Encoding
Técnica que utiliza funciones gaussianas centradas en cada posición para crear codificaciones continuas y suaves, particularmente efectiva para modelar relaciones de posición continuas en los datos.
T5 Positional Encoding
Variante de codificación posicional utilizada en el modelo T5, que combina incrustaciones de posición aprendidas con escalares de posición para mejorar la representación de posiciones relativas en tareas de generación de texto.
BERT Positional Encoding
Implementación específica utilizada en los modelos BERT, basada en incrustaciones de posición aprendidas de tamaño máximo de 512, añadidas directamente a las incrustaciones de tokens antes de las capas de transformador.
GPT Positional Encoding
Sistema de codificación posicional utilizado en los modelos GPT, inicialmente basado en incrustaciones aprendidas y evolucionado hacia variantes más sofisticadas como RoPE en las versiones más recientes para una mejor extrapolación.
Positional Interpolation
Técnica de extrapolación que permite extender modelos pre-entrenados a contextos más largos interpolando las codificaciones posicionales existentes en lugar de aprender nuevas, preservando así los conocimientos adquiridos.