Second-order Stochastic Methods

Shampoo Optimizer

Optimiseur second ordre qui préconditionne les gradients en utilisant des approximations de matrices de Kronecker pour les tenseurs de poids, adaptatif à la structure des paramètres du modèle.

← Terug