Glosario IA
El diccionario completo de la Inteligencia Artificial
Arquitectura Profesor-Alumno
Marco en el que un modelo profesor entrena a un modelo alumno transfiriendo sus conocimientos implícitos mediante objetivos suaves y regularizaciones.
Destilación de Mapas de Características
Método de transferencia de conocimientos a nivel de las representaciones intermedias del modelo en lugar de a nivel de las predicciones finales.
Transferencia de Atención
Transferencia de los mapas de atención del profesor al alumno para preservar las regiones importantes identificadas por el modelo complejo.
Destilación de Conocimiento Relacional
Enfoque que preserva las relaciones estructurales entre las muestras de aprendizaje en lugar de los conocimientos individuales.
Auto-Destilación
Proceso en el que un modelo se mejora a sí mismo transfiriendo sus conocimientos a una versión más profunda o más amplia de sí mismo.
Destilación Progresiva
Método iterativo de destilación donde el alumno se convierte progresivamente en el profesor para modelos aún más compactos.
Destilación de Conocimiento en Línea
Enfoque en el que varios modelos se entrenan mutuamente en tiempo real sin necesidad de un profesor preentrenado.
Destilación entre Dominios
Técnica de transferencia de conocimientos entre modelos que operan en diferentes dominios pero comparten estructuras subyacentes similares.
Aprendizaje continuo mediante destilación
Aplicación de la destilación para preservar los conocimientos adquiridos durante el aprendizaje continuo y evitar el olvido catastrófico.
Destilación de conjuntos
Compresión de un conjunto de modelos en un único modelo compacto preservando la diversidad de los conocimientos colectivos.
Búsqueda de arquitectura neuronal con destilación
Integración de la destilación en el proceso NAS para guiar la búsqueda de arquitecturas eficientes preservando el rendimiento.
Destilación de conocimientos contrastiva
Enfoque que utiliza contrastes positivos y negativos para transferir representaciones discriminativas del maestro al estudiante.