Glosario IA
El diccionario completo de la Inteligencia Artificial
Fine-tuning eficiente en parámetros (PEFT)
Métodos de fine-tuning que modifican únicamente un pequeño subconjunto de parámetros del modelo mientras congelan la mayoría de los pesos, reduciendo así los costos computacionales y de almacenamiento.
QLoRA (LoRA Cuantizado)
Variante de LoRA que combina cuantización de 4 bits y adaptación de bajo rango, permitiendo el fine-tuning de modelos muy voluminosos en recursos hardware limitados.
Afinamiento de prefijos
Método que optimiza únicamente prefijos continuos añadidos a las secuencias de entrada, sin modificar los pesos del modelo, para adaptar su comportamiento a tareas específicas.
Afinamiento de prompts
Optimización de embeddings de prompt aprendidos específicamente para guiar el comportamiento de un modelo pre-entrenado sin modificar sus parámetros internos.
Fine-tuning con instrucciones
Proceso de entrenamiento adicional sobre pares instrucción-respuesta para enseñar al modelo a seguir precisamente las consignas y generar respuestas apropiadas.
DPO (Optimización Directa de Preferencias)
Alternativa a RLHF que optimiza directamente el modelo a partir de datos de preferencias humanas sin requerir un modelo de recompensa intermedio, simplificando el proceso de alineación.