Glosario IA
El diccionario completo de la Inteligencia Artificial
Modelo Autoregresivo
Arquitectura de modelo generativo que predice el siguiente token basándose en todos los tokens anteriores, construyendo la secuencia de manera iterativa y secuencial.
Ventana de Contexto
Tamaño máximo de secuencia que el modelo puede procesar simultáneamente, limitando la cantidad de información histórica utilizable para la predicción.
Predicción del Siguiente Token
Objetivo fundamental de los modelos autoregresivos que consiste en maximizar la probabilidad condicional P(token_t|tokens_1...t-1).
Muestreo por Temperatura
Técnica de generación que controla el grado de aleatoriedad en la selección del siguiente token ajustando la distribución de probabilidad de los logits.
Muestreo Top-k
Método de generación que limita la selección a los k tokens más probables, evitando tokens de baja probabilidad mientras mantiene diversidad.
Muestreo Nucleus
Estrategia de selección dinámica basada en una masa de probabilidad acumulativa, adaptando el número de candidatos según la confianza del modelo.
Búsqueda por Haz
Algoritmo de decodificación que explora simultáneamente múltiples secuencias candidatas para encontrar la secuencia global más probable.
Modelo de Lenguaje Causal
Tipo de modelo autoregresivo entrenado para predecir tokens futuros basado en el contexto pasado, sin acceso a tokens futuros durante el entrenamiento.
Transformer Solo Decodificador
Arquitectura neuronal que utiliza únicamente capas de decodificador con enmascaramiento causal, preferida para modelos de lenguaje autorregresivos modernos.
Decodificación Voraz
Estrategia de generación que selecciona sistemáticamente el token de probabilidad máxima en cada paso, garantizando coherencia pero pudiendo carecer de creatividad.
Generación Autorregresiva
Proceso de generación textual donde cada token producido se añade inmediatamente al contexto para influir en la generación de los tokens siguientes.
Ajuste Fino de Modelo de Lenguaje
Proceso de adaptación especializada de un modelo autorregresivo preentrenado en datos específicos para mejorar su rendimiento en un dominio objetivo.
Aprendizaje Zero-shot
Capacidad de los modelos autorregresivos para realizar tareas no vistas durante el entrenamiento aprovechando sus conocimientos generales del lenguaje.
Caché KV
Mecanismo de optimización que almacena los estados clave-valor de los tokens anteriores para acelerar la generación autorregresiva secuencial.
Longitud de Secuencia Variable
Capacidad de los modelos autorregresivos para generar secuencias de longitudes diferentes adaptadas dinámicamente según el contenido generado.