Descenso de Gradiente Mini-batch

Ruido de Gradiente

Variabilidad inherente de las estimaciones de gradiente debido al muestreo estocástico de los mini-batches, que puede ayudar a escapar de los mínimos locales. Este ruido se caracteriza por una varianza inversamente proporcional al tamaño del batch y disminuye con la convergencia.

← Volver