Second-order Stochastic Methods

K-FAC (Kronecker-Factored Approximate Curvature)

Méthode d'optimisation second ordre qui approxime la matrice de Fisher par un produit de Kronecker de matrices plus petites, permettant des calculs efficaces pour les réseaux de neurones profonds.

← Terug