Regularización de Parámetros

HAT (Hard Attention to the Task)

Método que aprende máscaras de atención binarias por tarea para seleccionar los pesos activos de la red, creando así caminos dedicados para cada tarea. HAT utiliza una regularización para fomentar el uso de diferentes subconjuntos de pesos para diferentes tareas.

← Volver