Glosario IA
El diccionario completo de la Inteligencia Artificial
Learning without Forgetting (LwF)
Enfoque que utiliza la destilación de conocimientos para preservar las respuestas del modelo en los datos antiguos mientras aprende una nueva tarea. El modelo original sirve de maestro para guiar el modelo actualizado, evitando así la degradación del rendimiento en las tareas anteriores.
Orthogonal Gradient Descent (OGD)
Método que proyecta el gradiente de la nueva tarea en el espacio ortogonal a los subespacios de gradientes de las tareas anteriores. Esta proyección garantiza que el aprendizaje de nuevas tareas no interfiera con las direcciones importantes para el rendimiento pasado.
Dynamical Expandable Networks (DEN)
Marco de trabajo que expande dinámicamente la red añadiendo nuevas unidades y conexiones cuando es necesario, al tiempo que reactiva o desactiva selectivamente las conexiones existentes. DEN adapta la capacidad del modelo a los nuevos requisitos sin degradar el rendimiento anterior.
PackNet
Técnica de regularización que asigna subredes neuronales específicas a cada tarea mediante máscaras binarias fijas y restricciones de dispersión. PackNet permite el apilamiento de múltiples tareas en una misma red sin interferencia al compartimentar los recursos.
HAT (Hard Attention to the Task)
Método que aprende máscaras de atención binarias por tarea para seleccionar los pesos activos de la red, creando así caminos dedicados para cada tarea. HAT utiliza una regularización para fomentar el uso de diferentes subconjuntos de pesos para diferentes tareas.
CWR (Copy Weight with Reinit)
Estrategia que duplica los pesos del modelo después del aprendizaje de cada tarea y reinicia selectivamente ciertos pesos para el aprendizaje de la nueva tarea. CWR mantiene una copia de los pesos importantes permitiendo al mismo tiempo la adaptación para nuevos conocimientos.
PathNet
Arquitectura evolutiva donde se seleccionan y optimizan caminos de neuronas para cada tarea específica, utilizando algoritmos genéticos para encontrar las mejores combinaciones. PathNet permite la reutilización de módulos a la vez que aísla los parámetros por tarea.
Sup-Sup (Superposition of Superpositions)
Técnica que combina la superposición de pesos (superposición) con la superposición de tareas (multitarea) para maximizar el uso de los parámetros de la red. Sup-Sup permite a una red compacta almacenar y ejecutar simultáneamente múltiples tareas sin olvido.