Glosario IA
El diccionario completo de la Inteligencia Artificial
Modelo profesor
Red neuronal preentrenada de gran tamaño que sirve como fuente de conocimientos, cuyas salidas probabilísticas se utilizan para guiar el aprendizaje del modelo estudiante.
Modelo estudiante
Arquitectura de modelo compacta optimizada para reproducir el comportamiento del modelo profesor, con el objetivo de mantener el rendimiento reduciendo al mismo tiempo la complejidad computacional.
Tarea proxy
Tarea pretexto artificialmente diseñada para generar señales de aprendizaje supervisado a partir de datos no etiquetados, sirviendo de objetivo intermedio para la auto-supervisión.
Pérdida de destilación
Función objetivo que mide la divergencia entre las distribuciones de probabilidad del modelo profesor y el estudiante, típicamente implementada con la divergencia de Kullback-Leibler.
Temperatura de softmax
Parámetro de escala aplicado a la función softmax para suavizar las distribuciones de probabilidad, revelando así las relaciones entre clases que el modelo profesor ha aprendido.
Alineamiento de distribuciones
Técnica que tiene como objetivo minimizar la brecha entre las distribuciones de probabilidad predichas por el profesor y el estudiante en el espacio de características o de predicciones.
Tarea pretexto
Tarea secundaria auto-supervisada diseñada para obligar al modelo a aprender representaciones útiles, como la predicción de partes enmascaradas o la reconstrucción de entradas corruptas.