Glosario IA
El diccionario completo de la Inteligencia Artificial
Temperatura de Destilación
Parámetro hipertérmico aplicado en la función softmax para controlar el suavizado de las probabilidades del modelo teacher, permitiendo que el student aprenda relaciones entre clases más allá de las predicciones más probables.
Destilación Capa por Capa
Técnica de destilación donde las representaciones intermedias de cada capa del teacher se transfieren a las capas correspondientes del student, asegurando un aprendizaje progresivo de las características en todos los niveles de abstracción.
Destilación Contrastiva
Técnica que utiliza pares de contrastes para mejorar la calidad de la destilación, donde el student aprende simultáneamente a imitar al teacher y a diferenciarse de las muestras negativas.
Destilación entre Arquitecturas
Método de transferencia de conocimientos entre modelos de arquitecturas diferentes, como destilar un transformer hacia una arquitectura CNN o RNN, permitiendo flexibilidad en el despliegue objetivo.
Poda de Conocimiento
Proceso combinado de poda de parámetros y destilación donde los pesos menos importantes se eliminan del modelo, y luego la destilación compensa la pérdida de rendimiento resultante de la poda.
Destilación Dinámica
Enfoque adaptativo donde la fuerza de la destilación y la elección de los objetivos se ajustan dinámicamente durante el entrenamiento según el progreso del student y la dificultad de las muestras.
Destilación Zero-shot
Técnica que permite destilar un modelo teacher sin datos de entrenamiento explícitamente etiquetados, utilizando conocimientos implícitos o datos sintéticos generados por el teacher.
Destilación Consciente de Relaciones
Método avanzado donde el student aprende no solo las predicciones individuales del teacher sino también las relaciones estructurales entre diferentes partes de los datos, capturando dependencias complejas.
Compression-aware Distillation
Stratégie intégrant les contraintes matérielles de compression (quantification, sparsification) directement dans le processus de distillation pour optimiser les performances post-compression du modèle final.