Mini-batch Gradient Descent

Ruído de Gradiente

Variabilidade inerente das estimativas de gradiente devido à amostragem estocástica de mini-batches, podendo ajudar a escapar de mínimos locais. Este ruído é caracterizado por uma variância inversamente proporcional ao tamanho do batch e diminui com a convergência.

← Voltar