Słownik AI
Kompletny słownik sztucznej inteligencji
Gradient Noise
Variabilité inhérente des estimations de gradient due à l'échantillonnage stochastique des mini-batches, pouvant aider à échapper aux minima locaux. Ce bruit est caractérisé par une variance inversement proportionnelle à la taille du batch et diminue avec la convergence.
Vanilla SGD
Version de base de la descente de gradient stochastique sans mécanismes d'accélération comme le momentum ou l'adaptation du learning rate. Vanilla SGD met à jour les poids en suivant la direction négative du gradient avec un learning rate constant.
Full Batch Gradient Descent
Variante de descente de gradient utilisant la totalité du jeu de données pour calculer une estimation exacte du gradient à chaque itération. Cette approche offre une convergence stable mais avec un coût computationnel prohibitif pour les grands ensembles de données.