Glosario IA
El diccionario completo de la Inteligencia Artificial
Autoregresión
Proceso de generación donde cada token se predice secuencialmente basándose en todos los tokens anteriores, permitiendo construir texto de manera progresiva y coherente.
Arquitectura Solo-Decodificador
Estructura de modelo transformer que elimina los codificadores para centrarse únicamente en el decodificador, optimizada para la generación de texto usando atención enmascarada para evitar fugas de información futura.
Mecanismo de Atención Multi-cabezal
Técnica que permite al modelo enfocarse simultáneamente en diferentes posiciones de la secuencia de entrada a través de múltiples cabezales de atención independientes, capturando diversos tipos de dependencias.
Tokenización BPE
Algoritmo de Byte-Pair Encoding que segmenta el texto en subpalabras óptimas, equilibrando el tamaño del vocabulario y la cobertura semántica para un procesamiento eficiente del lenguaje natural.
Máscara de Atención Causal
Matriz binaria aplicada durante la atención para evitar que cada posición atienda a posiciones futuras, preservando así la naturaleza causal de la generación de texto.
Parámetros del Modelo
Pesos entrenables de la red neuronal cuyo número caracteriza la capacidad del modelo, variando de millones a miles de millones según la complejidad y el rendimiento deseado.
Muestreo por Temperatura
Parámetro que controla el grado de aleatoriedad en la generación, donde valores altos aumentan la diversidad y valores bajos favorecen predicciones más seguras y coherentes.
Ventana de Contexto
Número máximo de tokens que el modelo puede considerar simultáneamente durante la generación, determinando su capacidad para mantener coherencia en textos largos.