Глоссарий ИИ
Полный словарь искусственного интеллекта
BFGS
Algorithme d'optimisation quasi-Newton itératif qui approxime la matrice hessienne inverse pour trouver le minimum d'une fonction sans contraintes.
Approximation de Hessienne
Technique consistant à estimer la matrice des dérivées secondes d'une fonction sans calcul direct, utilisant les informations de gradient pour construire une approximation itérative.
Matrice d'inverse approximée
Approximation de l'inverse de la matrice hessienne construite progressivement dans les méthodes quasi-Newton pour déterminer la direction de descente optimale.
Ligne de recherche
Processus itératif déterminant la longueur du pas optimal dans la direction de descente pour minimiser la fonction objectif à chaque itération.
Correction de BFGS
Formule de mise à jour de l'approximation hessienne préservant la symétrie et la définie positivité de la matrice tout en satisfaisant l'équation sécante.
Mémoire limitée
Stratégie dans L-BFGS consistant à ne conserver qu'un nombre fixe d'itérations précédentes pour reconstruire l'approximation hessienne, réduisant complexité spatiale.
Convergence superlinéaire
Propriété des méthodes BFGS où le ratio des erreurs successives tend vers zéro, offrant une convergence plus rapide que la convergence linéaire mais moins que quadratique.
Équation sécante
Condition imposée dans les méthodes quasi-Newton garantissant que l'approximation hessienne transforme correctement la différence de gradients en différence de points.
Масштабный коэффициент
Начальный параметр в L-BFGS, который настраивает начальное приближение гессиана для улучшения сходимости на плохо обусловленных задачах.
Корректирующий вектор
Пара векторов (s, y), хранящихся в L-BFGS, где s представляет смещение, а y - разность градиентов, используемые для восстановления аппроксимации гессиана.
Направление спуска
Вектор, вычисленный путем умножения обратного приближения гессиана на отрицательный градиент, указывающий оптимальное направление для минимизации функции.
Начальный гессиан
Начальная матрица в квазиньютоновских методах, обычно единичная матрица, умноженная на масштабный коэффициент, служащая основой для последовательных итераций.
Двухциклический алгоритм
Эффективная реализация L-BFGS, использующая два цикла для вычисления направления спуска без явного восстановления полной матрицы гессиана.