KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
Step Decay
Méthode de scheduling qui réduit le taux d'apprentissage par un facteur multiplicatif à des intervalles d'époques prédéfinis. Cette approche simple mais efficace permet des réductions abruptes du learning rate pour affiner progressivement le modèle.
Exponential Decay
Stratégie où le taux d'apprentissage décroît exponentiellement avec le temps ou le nombre d'itérations selon une formule mathématique prédéfinie. Cette méthode assure une réduction continue et progressive du learning rate tout au long de l'entraînement.
Warmup
Phase initiale d'entraînement où le taux d'apprentissage augmente progressivement depuis une valeur faible jusqu'à sa valeur cible. Cette technique stabilise les premiers pas d'apprentissage et prévient la divergence du modèle dans les architectures profondes.
Cyclic Learning Rate
Stratégie oscillatoire où le taux d'apprentissage varie cycliquement entre des bornes inférieure et supérieure définies. Cette méthode permet d'explorer différentes régions de l'espace des paramètres et peut accélérer la convergence.
One-cycle Policy
Politique de scheduling qui augmente le learning rate jusqu'à un maximum puis le décroît jusqu'à une valeur finale, souvent combinée avec une variation de momentum inversement proportionnelle. Cette approche a démontré des performances supérieures pour l'entraînement rapide des réseaux neuronaux.
ReduceLROnPlateau
Mécanisme adaptatif qui réduit le taux d'apprentissage lorsqu'une métrique de performance cesse de s'améliorer pendant un nombre déterminé d'époques. Cette stratégie ajuste dynamiquement le learning rate en fonction des performances réelles du modèle.
Learning Rate Finder
Technique empirique pour déterminer une plage optimale de learning rates en observant la perte du modèle sur une augmentation exponentielle du taux d'apprentissage. Cette méthode identifie la valeur maximale viable avant la divergence du modèle.
SGDR
Stochastic Gradient Descent with Restarts, variante du SGD qui intègre des redémarrages périodiques du taux d'apprentissage selon une politique de cosine annealing. Cette technique permet d'échapper aux points sels et d'améliorer la généralisation.
Learning Rate Warm Restarts
Politique de scheduling combinant des redémarrages périodiques du learning rate avec des phases de warmup progressives à chaque cycle. Cette approche hybride optimise l'exploration et l'exploitation dans l'espace des paramètres.
Polynomial Decay
Stratégie de réduction du learning rate selon une fonction polynomiale du temps ou du nombre d'étapes d'entraînement. Cette méthode offre un contrôle fin sur la vitesse de décroissance grâce au paramètre de puissance.
Inverse Time Decay
Méthode de scheduling où le learning rate décroît inversement proportionnellement au temps ou au nombre d'itérations, suivant une fonction de type alpha/(1 + decay_rate * step). Cette approche assure des réductions moins agressives que le decay exponentiel.
Learning Rate Range Test
Procédure diagnostique qui entraîne le modèle sur une seule époque tout en faisant varier le learning rate sur une large plage logarithmique. Le résultat aide à identifier les bornes optimales pour les stratégies de cyclic learning rate.
Learning Rate Momentum
Coordination entre le scheduling du learning rate et l'ajustement du paramètre de momentum pour optimiser la convergence. Cette approche synchronisée peut améliorer significativement la stabilité et la vitesse d'entraînement.