Glosario IA
El diccionario completo de la Inteligencia Artificial
Matrices de bajo rango
Representación matemática donde una matriz se expresa como producto de dos matrices más pequeñas de rango reducido. Esta descomposición permite reducir el número de parámetros necesarios mientras captura la información esencial de las transformaciones.
Eficiencia de memoria
Optimización del uso de la memoria RAM y VRAM durante el entrenamiento y la inferencia de modelos de IA. Técnicas como LoRA permiten reducir drásticamente el consumo de memoria limitando los parámetros modificados.
Parámetros entrenables
Subconjunto de los pesos de una red neuronal que se modifican efectivamente durante el proceso de aprendizaje. En LoRA, solo un pequeño porcentaje (típicamente 0.1-1%) de los parámetros totales son entrenables.
Descomposición de rango
Técnica algebraica que factoriza una matriz de pesos W en W + BA donde B y A son matrices de bajo rango. Esta descomposición constituye el fundamento matemático de la adaptación LoRA.
Fine-tuning eficiente
Paradigma de adaptación de modelos preentrenados que busca minimizar los recursos computacionales y de memoria necesarios. Métodos como LoRA, Adapters o Prefix-tuning permiten especializar modelos sin modificar todos sus parámetros.
PEFT (Parameter-Efficient Fine-Tuning)
Categoría de técnicas de adaptación de modelos que buscan modificar un mínimo de parámetros durante el fine-tuning. LoRA es uno de los enfoques PEFT más populares junto con Adapters, Prefix-tuning y los prompts soft.
Factor de escala alfa
Hiperparámetro crucial en LoRA que controla la amplitud de la adaptación aplicada a los pesos originales. Este factor de escala ajusta la influencia relativa de las matrices de bajo rango respecto a los pesos preentrenados.
Multi-LoRA
Arquitectura que permite aplicar simultáneamente múltiples adaptaciones LoRA especializadas a un mismo modelo base. Este enfoque facilita el cambio rápido entre diferentes tareas o dominios de especialización sin recarga completa del modelo.
Adaptación zero-shot
Capacidad de un modelo adaptado con LoRA para generalizar a tareas o dominios no vistos durante el entrenamiento de adaptación. Esta propiedad emerge de la preservación de los conocimientos generales del modelo base mientras se añaden especializaciones específicas.
Hiperparámetro de rango LoRA
Parámetro que determina la dimensión de las matrices de bajo rango en la descomposición LoRA, controlando el equilibrio entre expresividad y eficiencia. Los rangos típicos varían de 4 a 64 según la complejidad de la tarea de adaptación.
Fusión de pesos
Proceso de integración de las adaptaciones LoRA en los pesos del modelo base para eliminar la sobrecarga computacional durante la inferencia. Esta fusión permite recuperar un modelo estándar con el mismo rendimiento que la versión adaptada.