AI Glossary
The complete dictionary of Artificial Intelligence
Moyenne mobile exponentielle
Technique de lissage temporel qui accorde plus de poids aux observations récentes tout en conservant une mémoire des observations passantes. Dans RMSprop, elle est utilisée pour estimer la moyenne des carrés des gradients sur les itérations récentes.
Gradient
Vecteur des dérivées partielles d'une fonction par rapport à chacune de ses variables, indiquant la direction de plus forte croissance. Dans l'optimisation, le gradient négatif pointe dans la direction de la plus forte décroissance de la fonction de perte.
Décroissance du poids
Technique de régularisation qui pénalise les poids importants en ajoutant un terme de régularisation L2 à la fonction de perte. Elle aide à prévenir le surapprentissage et favorise des modèles plus simples avec des poids plus petits.