Глоссарий ИИ
Полный словарь искусственного интеллекта
Стохастический метод Ньютона
Алгоритм оптимизации, который стохастически аппроксимирует матрицу Гессе для ускорения сходимости, объединяя вычислительную эффективность SGD со свойствами сходимости второго порядка.
L-BFGS (алгоритм с ограниченной памятью)
Квазиньютоновский вариант, который аппроксимирует обратную матрицу Гессе, используя только последние m итераций, что значительно снижает требования к памяти, сохраняя при этом преимущества методов второго порядка.
K-FAC (Кронекеровская аппроксимация кривизны)
Метод оптимизации второго порядка, который аппроксимирует матрицу Фишера произведением Кронекера меньших матриц, обеспечивая эффективность вычислений для глубоких нейронных сетей.
Естественный градиентный спуск
Алгоритм оптимизации, использующий информационную метрику Фишера в качестве предобуславливателя, что гарантирует инвариантность сходимости относительно репараметризации модели.
AdaHessian
Адаптивный оптимизатор, который оценивает диагональ матрицы Гессе с использованием аппроксимации Хатчинсона, адаптируя скорость обучения для каждого параметра на основе локальной кривизны.
Оптимизатор Shampoo
Оптимизатор второго порядка, который предобуславливает градиенты, используя аппроксимации матриц Кронекера для тензоров весов, адаптируясь к структуре параметров модели.
LAMB (построчно-адаптивный оптимизатор моментов)
Адаптивный оптимизатор, который настраивает скорость обучения по слоям, используя нормы весов и градиентов, сочетая преимущества Adam с адаптацией к структуре сети.
Оптимизатор Sophia
Метод оптимизации второго порядка, который сочетает оценки диагональной матрицы Гессе со стохастическим управлением импульсом, динамически адаптируя направление обновления в зависимости от локальной кривизны.
Метод Ньютона с подвыборкой
Вариант метода Ньютона, который использует подвыборки данных для оценки градиента и гессиана, снижая вычислительную сложность при сохранении свойств локальной квадратичной сходимости.
Стохастический квазиньютоновский метод
Класс алгоритмов, которые поддерживают стохастически обновляемую аппроксимацию обратной матрицы Гессе, балансируя вычислительную сложность и скорость сходимости.
Диагональный метод Гаусса-Ньютона
Аппроксимация гессиана, использующая только диагональные элементы матрицы Гаусса-Ньютона, что значительно снижает вычислительные затраты для задач большой размерности.
TNSR (Тензорная нормализованная регуляризация второго порядка)
Метод, применяющий регуляризацию второго порядка путем нормализации тензоров градиентов в соответствии с оценками кривизны, что стабилизирует обучение глубоких сетей.
Онлайн-шаг Ньютона
Алгоритм онлайн-оптимизации, который поддерживает аппроксимацию обратной матрицы Гессе для динамической адаптации обновлений параметров на основе последовательных наблюдений.
Стохастический рекурсивный градиентный алгоритм
Метод, использующий рекурсивные методы для эффективной аппроксимации информации второго порядка, сохраняя при этом линейную сложность классического стохастического градиентного спуска (SGD).