Все выпуски

[ Switch to English ]

Ускоренные адаптивные по константам сильной выпуклости и Липшица для градиента методы первого порядка

Плетнев Н.В.
 pdf (11051K)

Работа посвящена построению эффективных и применимых к реальным задачам методов выпуклой оптимизации первого порядка, то есть использующих только значения целевой функции и ее производных. При построении используется быстрый градиентный метод OGM-G, который является оптимальным по оракульной сложности (числу вычислений градиента целевой функции), но при запуске требует знания констант сильной выпуклости и Липшица градиента для вычисления количества шагов и длины шага, требуемых для достижения заданной точности. Данное требование усложняет практическое использование метода. Предлагаются адаптивный по константе сильной выпуклости алгоритм ACGM, основанный на рестартах OGM-G с обновлениемо ценки константы сильной выпуклости, и адаптивный по константе Липшица градиента метод ALGM, в котором применение рестартов OGM-G дополнено подбором константы Липшица с проверкой условий гладкости, используемых в методе универсального градиентного спуска. При этом устраняются недостатки исходного метода, связанные с необходимостью знания данных констант, что делает возможным практическое использование. Доказывается, что оценки сложности построенных алгоритмов являются оптимальными с точностью до числового множителя. Для проверки полученных результатов проводятся эксперименты на модельных функциях и реальных задачах машинного обучения.

Ключевые слова: быстрый градиентный метод, адаптивность по константе сильной выпуклости, адаптивность по константе Липшица градиента
Цитата: Плетнев Н.В. Ускоренные адаптивные по константам сильной выпуклости и Липшица для градиента методы первого порядка // Компьютерные исследования и моделирование, 2021, т. 13, № 5, с. 947-963
Citation in English: Pletnev N.V. Fast adaptive by constants of strong-convexity and Lipschitz for gradient first order methods // Computer Research and Modeling, 2021, vol. 13, no. 5, pp. 947-963
DOI: 10.20537/2076-7633-2021-13-5-947-963
URL: http://crm.ics.org.ru/journal/article/3121/
Creative Commons License Статья доступна по лицензии Creative Commons Attribution-NoDerivs 3.0 Unported License.

Журнал индексируется в Scopus

Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU

Журнал входит в систему  Российского индекса научного цитирования.

Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science

Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"

Международная Междисциплинарная Конференция МАТЕМАТИКА. КОМПЬЮТЕР. ОБРАЗОВАНИЕ.

Copyright © 2009–2024 Институт компьютерных исследований