Glosario IA
El diccionario completo de la Inteligencia Artificial
Codificación Posicional Sinusoidal
Método de codificación posicional que utiliza funciones sinusoidales de diferentes frecuencias para crear representaciones de posición únicas y deterministas sin aprendizaje de parámetros.
Codificación Posicional Aprendida
Enfoque donde los embeddings de posición se aprenden como parámetros entrenables del modelo, permitiendo una optimización adaptativa a los datos de entrenamiento específicos.
Codificación Posicional Relativa
Técnica avanzada que codifica las distancias relativas entre los tokens en lugar de sus posiciones absolutas, mejorando la generalización a longitudes de secuencia variables.
Codificación Posicional Absoluta
Método tradicional de codificación posicional donde cada posición en la secuencia recibe un embedding único basado en su índice absoluto en la secuencia.
Codificación Posicional Rotatoria (RoPE)
Técnica innovadora que aplica una rotación matricial a los embeddings de consulta y clave, integrando eficazmente la información de posición directamente en el mecanismo de atención.
Codificación Posicional Alibi
Método que penaliza los puntajes de atención según la distancia entre los tokens, permitiendo una extrapolación eficiente a longitudes de secuencia más largas sin reentrenamiento.
Embeddings de Posición
Vectores densos que representan la posición de cada token en una secuencia, añadidos o concatenados a los embeddings de tokens para proporcionar información de localización espacial o temporal.
Atención con Codificación Posicional
Integración de la codificación posicional en el mecanismo de atención para permitir que el modelo pondere de manera diferente los tokens según sus posiciones relativas en la secuencia.
Incrustaciones posicionales de BERT
Implementación específica de codificación posicional aprendida en la arquitectura BERT, utilizando incrustaciones de posición entrenables con una longitud máxima de secuencia fija de 512 tokens.
Codificación posicional de GPT
Sistema de codificación posicional utilizado en los modelos GPT, inicialmente basado en incrustaciones de posición aprendidas para modelar eficientemente las dependencias direccionales en el texto.
Codificación posicional de Transformer
Componente esencial de la arquitectura Transformer original que utiliza codificaciones sinusoidales para permitir que el modelo utilice el orden de los tokens sin mecanismos recurrentes.
Codificación posicional 3D
Extensión de la codificación posicional a datos tridimensionales como volúmenes o videos, incorporando información de posición sobre tres ejes espaciales o temporales.
Codificación posicional compleja
Variante avanzada que utiliza números complejos para representar las posiciones, permitiendo una modelización más rica de las relaciones espaciales y frecuencias múltiples.
Codificación posicional jerárquica
Enfoque estructurado que codifica las posiciones a múltiples niveles de granularidad, capturando tanto las posiciones locales como globales en la secuencia.
Codificación posicional de T5
Implementación específica en la arquitectura T5 que utiliza incrustaciones de posición escalares añadidas a las incrustaciones de tokens, diseñada para simplificar la arquitectura manteniendo el rendimiento.
Codificación posicional relativa de XLNet
Mecanismo sofisticado en XLNet que modela las distancias relativas entre tokens en el cálculo de atención, permitiendo una mejor generalización en diferentes longitudes de secuencia.
DeBERTa Atención Desenredada
Innovación en DeBERTa que separa explícitamente el contenido y la posición en el mecanismo de atención, utilizando una codificación posicional desenredada para mejorar la representación.
Codificación Posicional de Longformer
Sistema de codificación posicional adaptado para el procesamiento de secuencias largas, combinando incrustaciones de posición globales y locales para optimizar la atención de ventana deslizante.
Hashing Sensible a la Localidad de Reformer
Técnica especializada en Reformer que utiliza LSH con codificación posicional para reducir la complejidad computacional de la atención en secuencias muy largas.