Методы снижения дисперсии

Mini-batch

Подмножество среднего размера из полного набора данных, используемое для вычисления оценок градиента на каждой итерации. Мини-пакеты уменьшают дисперсию по сравнению с чистым SGD, оставаясь при этом более эффективными, чем полные градиенты.

← Назад