Glosario IA
El diccionario completo de la Inteligencia Artificial
Embeddings Posicionales Aprendidas
Enfoque donde los vectores de posición son parámetros aprendidos durante el entrenamiento, a diferencia de las funciones sinusoidales fijas.
Índice Posicional
Valor numérico entero que representa la posición de un token en una secuencia, utilizado como base para el cálculo del Codificado Posicional.
NoPE (Sin Codificado Posicional)
Enfoque experimental que explora el rendimiento de los Transformers sin ninguna forma explícita de codificación posicional.
Codificado Posicional 2D
Extensión del Codificado Posicional para datos estructurados en dos dimensiones, como imágenes, codificando las coordenadas (x, y).
Codificado Posicional Causal
Codificado Posicional utilizado en modelos decodificadores autorregresivos donde la atención está enmascarada para ser únicamente causal (hacia la izquierda).
Dropout Posicional
Técnica de regularización que aplica una capa de dropout específicamente sobre los embeddings de posición para evitar la sobre-dependencia de estos.