Все выпуски

В данной статье предлагаются методы оптимизации высокого порядка (тензорные методы) для решения двух типов седловых задач. Первый тип — это классическая мин-макс-постановка для поиска седловой точки функционала. Второй тип — это поиск стационарной точки функционала седловой задачи путем минимизации нормы градиента этого функционала. Очевидно, что стационарная точка не всегда совпадает с точкой оптимума функции. Однако необходимость в решении подобного типа задач может возникать в случае, если присутствуют линейные ограничения. В данном случае из решения задачи поиска стационарной точки двойственного функционала можно восстановить решение задачи поиска оптимума прямого функционала. В обоих типах задач какие-либо ограничения на область определения целевого функционала отсутствуют. Также мы предполагаем, что целевой функционал является $\mu$-сильно выпуклыми $\mu$-сильно вогнутым, а также что выполняется условие Липшица для его $p$-й производной.

Для задач типа «мин-макс» мы предлагаем два алгоритма. Так как мы рассматриваем сильно выпуклую и сильно вогнутую задачу, первый алгоритмиспо льзует существующий тензорный метод для решения выпуклых вогнутых седловых задач и ускоряет его с помощью техники рестартов. Таким образом удается добиться линейной скорости сходимости. Используя дополнительные предположения о выполнении условий Липшица для первой и второй производных целевого функционала, можно дополнительно ускорить полученный метод. Для этого можно «переключиться» на другой существующий метод для решения подобных задач в зоне его квадратичной локальной сходимости. Так мы получаем второй алгоритм, обладающий глобальной линейной сходимостью и локальной квадратичной сходимостью. Наконец, для решения задач второго типа существует определенная методология для тензорных методов в выпуклой оптимизации. Суть ее заключается в применении специальной «обертки» вокруг оптимального метода высокого порядка. Причем для этого условие сильной выпуклости не является необходимым. Достаточно лишь правильным образом регуляризовать целевой функционал, сделав его таким образом сильно выпуклым и сильно вогнутым. В нашей работе мы переносим эту методологию на выпукло-вогнутые функционалы и используем данную «обертку» на предлагаемом выше алгоритме с глобальной линейной сходимостью и локальной квадратичной сходимостью. Так как седловая задача является частным случаем монотонного вариационного неравенства, предлагаемые методы также подойдут для поиска решения сильно монотонных вариационных неравенств.

In this paper we propose high-order (tensor) methods for two types of saddle point problems. Firstly, we consider the classic min-max saddle point problem. Secondly, we consider the search for a stationary point of the saddle point problem objective by its gradient norm minimization. Obviously, the stationary point does not always coincide with the optimal point. However, if we have a linear optimization problem with linear constraints, the algorithm for gradient norm minimization becomes useful. In this case we can reconstruct the solution of the optimization problem of a primal function from the solution of gradient norm minimization of dual function. In this paper we consider both types of problems with no constraints. Additionally, we assume that the objective function is $\mu$-strongly convex by the first argument, $\mu$-strongly concave by the second argument, and that the $p$-th derivative of the objective is Lipschitz-continous.

For min-max problems we propose two algorithms. Since we consider strongly convex a strongly concave problem, the first algorithm uses the existing tensor method for regular convex concave saddle point problems and accelerates it with the restarts technique. The complexity of such an algorithm is linear. If we additionally assume that our objective is first and second order Lipschitz, we can improve its performance even more. To do this, we can switch to another existing algorithm in its area of quadratic convergence. Thus, we get the second algorithm, which has a global linear convergence rate and a local quadratic convergence rate.

Finally, in convex optimization there exists a special methodology to solve gradient norm minimization problems by tensor methods. Its main idea is to use existing (near-)optimal algorithms inside a special framework. I want to emphasize that inside this framework we do not necessarily need the assumptions of strong convexity, because we can regularize the convex objective in a special way to make it strongly convex. In our article we transfer this framework on convex-concave objective functions and use it with our aforementioned algorithm with a global linear convergence and a local quadratic convergence rate.

Since the saddle point problem is a particular case of the monotone variation inequality problem, the proposed methods will also work in solving strongly monotone variational inequality problems.

Объем и структура накопленной кредитной задолженности перед банковской системой зависят от множества факторов, важнейшим из которых является текущий и ожидаемый уровень процентных ставок. Изменения в поведении заемщиков в ответ на сигналы денежно-кредитной политики позволяют разрабатывать эконометрические модели, представляющие динамику структуры кредитного портфеля банковской системы по срокам размещения средств. Эти модели помогают рассчитать показатели, характеризующие влияние регулирующих действий со стороны центрального банка на уровень процентного риска в целом. В работе проводилась идентификация четырех видов моделей: дискретной линейной модели, основанной на передаточных функциях, модели в пространстве состояний, классической эконометрической модели ARMAX и нелинейной модели типа Гаммерштейна – Винера. Для их описания использовался формальный язык теории автоматического управления, а для идентификации — программный пакет MATLAB. В ходе исследования было выявлено, что для краткосрочного прогнозирования объема и структуры кредитной задолженности больше всего подходит дискретная линейная модель в пространстве состояний, позволяющая прогнозировать тренды по структуре накопленной кредитной задолженности на прогнозном горизонте в 1 год. На примере реальных данных по российской банковской системе модель показывает высокую чувствительность реакции на изменения в денежно-кредитной политике, проводимой центральным банком РФ, структуры кредитной задолженности по срокам ее погашения. Так, при резком повышении процентных ставок в ответ на внешние рыночные шоки заемщики предпочитают сокращать сроки кредитования, при этом общий уровень задолженности повышается прежде всего за счет возрастающей переоценки номинального долга. При формировании устойчивого тренда снижения процентных ставок структура задолженности смещается в сторону долгосрочных кредитов.

The volume and structure of accumulated credit debt to the banking system depends on many factors, the most important of which is the level of interest rates. The correct assessment of borrowers’ reaction to the changes in the monetary policy allows to develop econometric models, representing the structure of the credit portfolio in the banking system by terms of lending. These models help to calculate indicators characterizing the level of interest rate risk in the whole system. In the study, we carried out the identification of four types of models: discrete linear model based on transfer functions; the state-space model; the classical econometric model ARMAX, and a nonlinear Hammerstein –Wiener model. To describe them, we employed the formal language of automatic control theory; to identify the model, we used the MATLAB software pack-age. The study revealed that the discrete linear state-space model is most suitable for short-term forecasting of both the volume and the structure of credit debt, which in turn allows to predict trends in the structure of accumulated credit debt on the forecasting horizon of 1 year. The model based on the real data has shown a high sensitivity of the structure of credit debt by pay back periods reaction to the changes in the Ñentral Bank monetary policy. Thus, a sharp increase in interest rates in response to external market shocks leads to shortening of credit terms by borrowers, at the same time the overall level of debt rises, primarily due to the increasing revaluation of nominal debt. During the stable falling trend of interest rates, the structure shifts toward long-term debts.

В работе представлена модель типа «хищник–жертва», описывающая пространственно-временную динамику планктонного сообщества с учетом биогенных элементов. Система описывается уравнениями типа «реакция–диффузия–адвекция» в одномерной области, соответствующей вертикальному столбу воды в поверхностном слое. Адвективный член уравнения хищника описывает вертикальные перемещения зоопланктона в направлении градиента фитопланктона. Исследование посвящено определению условий возникновения пространственно-неоднородных структур, генерируемых системой под воздействием этих перемещений (таксиса). В предположении равных коэффициентов диффузии всех компонент модели анализируется неустойчивость системы в окрестности гомогенного равновесия к малым пространственно-неоднородным возмущениям.

В результате линейного анализа получены условия для возникновения неустойчивости Тьюринга и волновой неустойчивости. Определено, что соотношения между параметрами локальной кинетики системы определяют возможность потери устойчивости системой и тип неустойчивости. В качестве бифуркационного параметра в исследовании рассматривается скорость таксиса. Показано, что при малых значениях этого параметра система устойчива, а начиная с некоторого критического значения устойчивость может теряться, и система способна генерировать либо стационарные пространственно-неоднородные структуры, либо структуры, неоднородные и по времени, и по пространству. Полученные результаты согласуются с ранними исследованиями подобных двухкомпонентных моделей.

В работе получен интересный результат, указывающий, что бесконечное увеличение скорости таксиса не будет существенно менять вид этих структур. Выявлено, что существует предел величины волнового числа, соответствующего самой неустойчивой моде. Это значение и определяет вид пространственной структуры. В подтверждение полученных результатов в работе приведены варианты пространственно-временной динамики компонент модели в случае неустойчивости Тьюринга и волновой неустойчивости.

The paper deals with a prey-predator model, which describes the spatiotemporal dynamics of plankton community and the nutrients. The system is described by reaction-diffusion-advection equations in a onedimensional vertical column of water in the surface layer. Advective term of the predator equation represents the vertical movements of zooplankton with velocity, which is assumed to be proportional to the gradient of phytoplankton density. This study aimed to determine the conditions under which these movements (taxis) lead to the spatially heterogeneous structures generated by the system. Assuming diffusion coefficients of all model components to be equal the instability of the system in the vicinity of stationary homogeneous state with respect to small inhomogeneous perturbations is analyzed.

Necessary conditions for the flow-induced instability were obtained through linear stability analysis. Depending on the local kinetics parameters, increasing the taxis rate leads to Turing or wave instability. This fact is in good agreement with conditions for the emergence of spatial and spatiotemporal patterns in a minimal phytoplankton–zooplankton model after flow-induced instabilities derived by other authors. This mechanism of generating patchiness is more general than the Turing mechanism, which depends on strong conditions on the diffusion coefficients.

While the taxis exceeding a certain critical value, the wave number corresponding to the fastest growing mode remains unchanged. This value determines the type of spatial structure. In support of obtained results, the paper presents the spatiotemporal dynamics of the model components demonstrating Turing-type pattern and standing wave pattern.

Работа посвящена численному моделированию и исследованию кинетической модели пиролиза пропана. Изучение кинетики реакций является необходимой стадией моделирования динамики газового потока в реакторе.

Кинетическая модель представляет собой нелинейную систему обыкновенных дифференциальных уравнений первого порядка с параметрами, роль которых играют константы скоростей стадий. Математическое моделирование процесса основано на использовании закона сохранения масс. Для решения исходной (прямой) задачи используется неявный метод решения жестких систем обыкновенных дифференциальных уравнений. Модель содержит 60 входных кинетических параметров и 17 выходных параметров, соответствующих веществам реакции, из которых наблюдаемыми являются только 9. В процессе решения задачи по оценке параметров (обратная задача) возникает вопрос неединственности набора параметров, удовлетворяющего имеющимся экспериментальным данным. Поэтому перед решением обратной задачи проводится оценка возможности определения параметров модели — анализ идентифицируемости.

Для анализа идентифицируемости мы используем ортогональный метод, который хорошо себя зарекомендовал для анализа моделей с большим числом параметров. Основу алгоритма составляет анализ матрицы чувствительно- сти методами дифференциальной и линейной алгебры, показывающей степень зависимости неизвестных параметров моделей от заданных измерений. Анализ чувствительности и идентифицируемости показал, что параметры модели устойчиво определяются по заданному набору экспериментальных данных. В статье представлен список параметров модели от наиболее идентифицируемого до наименее идентифицируемого. Учитывая анализ идентифицируемости математической модели, были введены более жесткие ограничения на поиск слабоидентифицируемых параметров при решении обратной задачи.

Обратная задача по оценке параметров была решена с использованием генетического алгоритма. В статье представлены найденные оптимальные значения кинетических параметров. Представлено сравнение экспериментальных и расчетных зависимостей концентраций пропана, основных и побочных продуктов реакции от температуры для разных расходов смеси. На основании соответствия полученных результатов физико-химическим законам и экспериментальным данным сделан вывод об адекватности построенной математической модели.

The article presents the numerical modeling and study of the kinetic model of propane pyrolysis. The study of the reaction kinetics is a necessary stage in modeling the dynamics of the gas flow in the reactor.

The kinetic model of propane pyrolysis is a nonlinear system of ordinary differential equations of the first order with parameters, the role of which is played by the reaction rate constants. Math modeling of processes is based on the use of the mass conservation law. To solve an initial (forward) problem, implicit methods for solving stiff ordinary differential equation systems are used. The model contains 60 input kinetic parameters and 17 output parameters corresponding to the reaction substances, of which only 9 are observable. In the process of solving the problem of estimating parameters (inverse problem), there is a question of non-uniqueness of the set of parameters that satisfy the experimental data. Therefore, before solving the inverse problem, the possibility of determining the parameters of the model is analyzed (analysis of identifiability).

To analyze identifiability, we use the orthogonal method, which has proven itself well for analyzing models with a large number of parameters. The algorithm is based on the analysis of the sensitivity matrix by the methods of differential and linear algebra, which shows the degree of dependence of the unknown parameters of the models on the given measurements. The analysis of sensitivity and identifiability showed that the parameters of the model are stably determined from a given set of experimental data. The article presents a list of model parameters from most to least identifiable. Taking into account the analysis of the identifiability of the mathematical model, restrictions were introduced on the search for less identifiable parameters when solving the inverse problem.

The inverse problem of estimating the parameters was solved using a genetic algorithm. The article presents the found optimal values of the kinetic parameters. A comparison of the experimental and calculated dependences of the concentrations of propane, main and by-products of the reaction on temperature for different flow rates of the mixture is presented. The conclusion about the adequacy of the constructed mathematical model is made on the basis of the correspondence of the results obtained to physicochemical laws and experimental data.

Данная статья посвящена повышению скоростных гарантий численных методов градиентного типа для относительно гладких и относительно липшицевых задач минимизации в случае дополнительных предположений о некоторых аналогах сильной выпуклости целевой функции. Рассматриваются два класса задач: выпуклые задачи с условием относительного функционального роста, а также задачи (вообще говоря, невыпуклые) с аналогом условия градиентного доминирования Поляка – Лоясиевича относительно дивергенции Брэгмана. Для первого типа задач мы предлагаем две схемы рестартов методов градиентного типа и обосновываем теоретические оценки сходимости двух алгоритмов с адаптивно подбираемыми параметрами, соответствующими относительной гладкости или липшицевости целевой функции. Первый из этих алгоритмов проще в части критерия выхода из итерации, но для него близкие к оптимальным вычислительные гарантии обоснованы только на классе относительно липшицевых задач. Процедура рестартов другого алгоритма, в свою очередь, позволила получить более универсальные теоретические результаты. Доказана близкая к оптимальной оценка сложности на классе выпуклых относительно липшицевых задач с условием функционального роста, а для класса относительно гладких задач с условием функционального роста получены гарантии линейной скорости сходимости. На классе задач с предложенным аналогом условия градиентного доминирования относительно дивергенции Брэгмана были получены оценки качества выдаваемого решения с использованием адаптивно подбираемых параметров. Также мы приводим результаты некоторых вычислительных экспериментов, иллюстрирующих работу методов для второго исследуемого в настоящей статье подхода. В качестве примеров мы рассмотрели линейную обратную задачу Пуассона (минимизация дивергенции Кульбака – Лейблера), ее регуляризованный вариант, позволяющий гарантировать относительную сильную выпуклость целевой функции, а также некоторый пример относительно гладкой и относительно сильно выпуклой задачи. В частности, с помощью расчетов показано, что относительно сильно выпуклая функция может не удовлетворять введенному относительному варианту условия градиентного доминирования.

This paper is devoted to some variants of improving the convergence rate guarantees of the gradient-type algorithms for relatively smooth and relatively Lipschitz-continuous problems in the case of additional information about some analogues of the strong convexity of the objective function. We consider two classes of problems, namely, convex problems with a relative functional growth condition, and problems (generally, non-convex) with an analogue of the Polyak – Lojasiewicz gradient dominance condition with respect to Bregman divergence. For the first type of problems, we propose two restart schemes for the gradient type methods and justify theoretical estimates of the convergence of two algorithms with adaptively chosen parameters corresponding to the relative smoothness or Lipschitz property of the objective function. The first of these algorithms is simpler in terms of the stopping criterion from the iteration, but for this algorithm, the near-optimal computational guarantees are justified only on the class of relatively Lipschitz-continuous problems. The restart procedure of another algorithm, in its turn, allowed us to obtain more universal theoretical results. We proved a near-optimal estimate of the complexity on the class of convex relatively Lipschitz continuous problems with a functional growth condition. We also obtained linear convergence rate guarantees on the class of relatively smooth problems with a functional growth condition. For a class of problems with an analogue of the gradient dominance condition with respect to the Bregman divergence, estimates of the quality of the output solution were obtained using adaptively selected parameters. We also present the results of some computational experiments illustrating the performance of the methods for the second approach at the conclusion of the paper. As examples, we considered a linear inverse Poisson problem (minimizing the Kullback – Leibler divergence), its regularized version which allows guaranteeing a relative strong convexity of the objective function, as well as an example of a relatively smooth and relatively strongly convex problem. In particular, calculations show that a relatively strongly convex function may not satisfy the relative variant of the gradient dominance condition.

Задачи негладкой оптимизации нередко возникают во многих приложениях. Вопросы разработки эффективных вычислительных процедур для негладких задач в пространствах больших размерностей весьма актуальны. В таких случаях разумно применятьмет оды первого порядка (субградиентные методы), однако в достаточно общих ситуациях они приводят к невысоким скоростным гарантиям. Одним из подходов к этой проблеме может являться выделение подкласса негладких задач, допускающих относительно оптимистичные результаты о скорости сходимости в пространствах больших размерностей. К примеру, одним из вариантов дополнительных предположений может послужитьуслови е острого минимума, предложенное в конце 1960-х годов Б. Т. Поляком. В случае доступности информации о минимальном значении функции для липшицевых задач с острым минимумом известен субградиентный метод с шагом Б. Т. Поляка, который гарантирует линейную скорость сходимости по аргументу. Такой подход позволил покрыть ряд важных прикладных задач (например, задача проектирования точки на выпуклый компакт или задача отыскания общей точки системы выпуклых множеств). Однако как условие доступности минимального значения функции, так и само условие острого минимума выглядят довольно ограничительными. В этой связи в настоящей работе предлагается обобщенное условие острого минимума, аналогичное известному понятию неточного оракула. Предложенный подход позволяет расширить класс применимости субградиентных методов с шагом Б. Т. Поляка на ситуации неточной информации о значении минимума, а также неизвестной константы Липшица целевой функции. Более того, использование в теоретической оценке качества выдаваемого методом решения локальных аналогов глобальных характеристик целевой функции позволяет применять результаты такого типа и к более широким классам задач. Показана возможностьпр именения предложенного подхода к сильно выпуклым негладким задачам и выполнено экспериментальное сравнение с известным оптимальным субградиентным методом на таком классе задач. Более того, получены результаты о применимости предложенной методики для некоторых типов задач с релаксациями выпуклости: недавно предложенное понятие слабой $\beta$-квазивыпуклости и обычной квазивыпуклости. Исследовано обобщение описанной методики на ситуацию с предположением о доступности на итерациях $\delta$-субградиента целевой функции вместо обычного субградиента. Для одного из рассмотренных методов найдены условия, при которых на практике можно отказаться от проектирования итеративной последовательности на допустимое множество поставленной задачи.

Non-smooth optimization often arises in many applied problems. The issues of developing efficient computational procedures for such problems in high-dimensional spaces are very topical. First-order methods (subgradient methods) are well applicable here, but in fairly general situations they lead to low speed guarantees for large-scale problems. One of the approaches to this type of problem can be to identify a subclass of non-smooth problems that allow relatively optimistic results on the rate of convergence. For example, one of the options for additional assumptions can be the condition of a sharp minimum, proposed in the late 1960s by B. T. Polyak. In the case of the availability of information about the minimal value of the function for Lipschitz-continuous problems with a sharp minimum, it turned out to be possible to propose a subgradient method with a Polyak step-size, which guarantees a linear rate of convergence in the argument. This approach made it possible to cover a number of important applied problems (for example, the problem of projecting onto a convex compact set). However, both the condition of the availability of the minimal value of the function and the condition of a sharp minimum itself look rather restrictive. In this regard, in this paper, we propose a generalized condition for a sharp minimum, somewhat similar to the inexact oracle proposed recently by Devolder – Glineur – Nesterov. The proposed approach makes it possible to extend the class of applicability of subgradient methods with the Polyak step-size, to the situation of inexact information about the value of the minimum, as well as the unknown Lipschitz constant of the objective function. Moreover, the use of local analogs of the global characteristics of the objective function makes it possible to apply the results of this type to wider classes of problems. We show the possibility of applying the proposed approach to strongly convex nonsmooth problems, also, we make an experimental comparison with the known optimal subgradient method for such a class of problems. Moreover, there were obtained some results connected to the applicability of the proposed technique to some types of problems with convexity relaxations: the recently proposed notion of weak $\beta$-quasi-convexity and ordinary quasiconvexity. Also in the paper, we study a generalization of the described technique to the situation with the assumption that the $\delta$-subgradient of the objective function is available instead of the usual subgradient. For one of the considered methods, conditions are found under which, in practice, it is possible to escape the projection of the considered iterative sequence onto the feasible set of the problem.

В работе методом математического моделирования проведено исследование механизмов влияния света на скорость роста и макромолекулярный состав накопительной культуры микроводорослей. Показано, что даже при единственном лимитирующем факторе рост микроводорослей сопряжен со значительным изменением биохимического состава биомассы. Отмечено, что существующие математические модели, основанные на принципах ферментативной кинетики, не учитывают возможную смену лимитирующего фактора в процессе увеличения биомассы и не позволяют описать динамику относительного содержания ее биохимических компонентов. В качестве альтернативного подхода предложена двухкомпонентная модель, в основе которой положено предположение о двухстадийности фотоавтотрофного роста. Биомассу микроводорослей можно рассматривать в виде суммы двух макромолекулярных составляющих — структурной и резервной. Предполагается пропорциональность всех структурных компонентов биомассы, что значительно упрощает математические выкладки и верификацию модели. Предлагаемая модель представлена системой двух дифференциальных уравнений: скорость синтеза резервных составляющих биомассы определяется интенсивностью света, а структурных компонентов — потоком резервов на ключевой мультиферментный комплекс. Модель учитывает, что часть резервных компонентов расходуется на пополнение пула макроэргов. Скорости синтеза структурных и резервных форм биомассы заданы линейными сплайнами, которые позволяют учесть смену лимитирующего фактора с ростом плотности накопительной культуры. Показано, что в условиях светового лимитирования накопительную кривую необходимо разделять на несколько областей: неограниченного роста, малой концентрации клеток и оптически плотной культуры. Для каждого участка получены аналитические решения предлагаемой модели, которые выражены в элементарных функциях и позволяют оценить видоспецифические коэффициенты. Проведена верификация модели на экспериментальных данных роста биомассы и динамики относительного содержания хлорофилла $a$ накопительной культуры красной морской микроводоросли Pоrphуridium purpurеum.

The work focuses on mathematical modeling of light influence mechanisms on macromolecular composition of microalgae batch culture. It is shown that even with a single limiting factor, the growth of microalgae is associated with a significant change in the biochemical composition of the biomass in any part of the batch curve. The well-known qualitative models of microalgae are based on concepts of enzymatic kinetics and do not take into account the possible change of the limiting factor during batch culture growth. Such models do not allow describing the dynamics of the relative content of biochemical components of cells. We proposed an alternative approach which is based on generally accepted two-stage photoautotrophic growth of microalgae. Microalgae biomass can be considered as the sum of two macromolecular components — structural and reserve. At the first stage, during photosynthesis a reserve part of biomass is formed, from which the biosynthesis of cell structures occurs at the second stage. Model also assumes the proportionality of all biomass structural components which greatly simplifies mathematical calculations and experimental data fitting. The proposed mathematical model is represented by a system of two differential equations describing the synthesis of reserve biomass compounds at the expense of light and biosynthesis of structural components from reserve ones. The model takes into account that a part of the reserve compounds is spent on replenishing the pool of macroergs. The rates of synthesis of structural and reserve forms of biomass are given by linear splines. Such approach allows us to mathematically describe the change in the limiting factor with an increase in the biomass of the enrichment culture of microalgae. It is shown that under light limitation conditions the batch curve must be divided into several areas: unlimited growth, low cell concentration and optically dense culture. The analytical solutions of the basic system of equations describing the dynamics of macromolecular biomass content made it possible to determine species-specific coefficients for various light conditions. The model was verified on the experimental data of biomass growth and dynamics of chlorophyll $a$ content of the red marine microalgae Pоrphуridium purpurеum batch culture.

В первой части работы получена оценка скорости сходимости ранее известного ускоренного метода первого порядка AGMsDR на классе задач минимизации, вообще говоря, невыпуклых функций с $M$-липшицевым градиентом и удовлетворяющих условию Поляка – Лоясиевича. При реализации метода не требуется знать параметр $\mu^{PL}>0$ из условия Поляка – Лоясиевича, при этом метод демонстрирует линейную скорость сходимости (сходимость со скоростью геометрической прогрессии со знаменателем $\left.\left(1 - \frac{\mu^{PL}}{M}\right)\right)$. Ранее для метода была доказана сходимость со скоростью $O\left(\frac1{k^2}\right)$ на классе выпуклых задач с $M$-липшицевым градиентом. А также сходимость со скоростью геометрической прогрессии, знаменатель которой $\left(1 - \sqrt{\frac{\mu^{SC}}{M}}\right)$, но только если алгоритму известно значение параметра сильной выпуклости $\mu^{SC}>0$. Новизна результата заключается в том, что удается отказаться от использования методом значения параметра $\mu^{SC}>0$ и при этом сохранить линейную скорость сходимости, но уже без корня в знаменателе прогрессии.

Во второй части представлена новая модификация метода AGMsDR для решения задач, допускающих альтернированную минимизацию (Alternating AGMsDR). Доказываются аналогичные оценки скорости сходимости на тех же классах оптимизационных задач.

Таким образом, представлены адаптивные ускоренные методы с оценкой сходимости $O\left(\min\left\lbrace\frac{M}{k^2},\,\left(1-{\frac{\mu^{PL}}{M}}\right)^{(k-1)}\right\rbrace\right)$ на классе выпуклых функций с $M$-липшицевым градиентом, которые удовлетворяют условию Поляка – Лоясиевича. При этом для работы метода не требуются значения параметров $M$ и $\mu^{PL}$. Если же условие Поляка – Лоясиевича не выполняется, то можно утверждать, что скорость сходимости равна $O\left(\frac1{k^2}\right)$, но при этом методы не требуют никаких изменений.

Также рассматривается адаптивная каталист-оболочка неускоренного градиентного метода, которая позволяет доказать оценку скорости сходимости $O\left(\frac1{k^2}\right)$. Проведено экспериментальное сравнение неускоренного градиентного метода с адаптивным выбором шага, ускоренного с помощью адаптивной каталист-оболочки с методами AGMsDR, Alternating AGMsDR, APDAGD (Adaptive Primal-Dual Accelerated Gradient Descent) и алгоритмом Синхорна для задачи, двойственной к задаче оптимального транспорта.

Проведенные вычислительные эксперименты показали более быструю работу метода Alternating AGMsDR по сравнению как с неускоренным градиентным методом, ускоренным с помощью адаптивной каталист-оболочки, так и с методом AGMsDR, несмотря на асимптотически одинаковые гарантии скорости сходимости $O\left(\frac1{k^2}\right)$. Это может быть объяснено результатом о линейной скорости сходимости метода Alternating AGMsDR на классе задач, удовлетворяющих условию Поляка – Лоясиевича. Гипотеза была проверена на квадратичных задачах. Метод Alternating AGMsDR показал более быструю сходимость по сравнению с методом AGMsDR.

In the first part of the paper we present convergence analysis of AGMsDR method on a new class of functions — in general non-convex with $M$-Lipschitz-continuous gradients that satisfy Polyak – Lojasiewicz condition. Method does not need the value of $\mu^{PL}>0$ in the condition and converges linearly with a scale factor $\left(1 - \frac{\mu^{PL}}{M}\right)$. It was previously proved that method converges as $O\left(\frac1{k^2}\right)$ if a function is convex and has $M$-Lipschitz-continuous gradient and converges linearly with a~scale factor $\left(1 - \sqrt{\frac{\mu^{SC}}{M}}\right)$ if the value of strong convexity parameter $\mu^{SC}>0$ is known. The novelty is that one can save linear convergence if $\frac{\mu^{PL}}{\mu^{SC}}$ is not known, but without square root in the scale factor.

The second part presents modification of AGMsDR method for solving problems that allow alternating minimization (Alternating AGMsDR). The similar results are proved.

As the result, we present adaptive accelerated methods that converge as $O\left(\min\left\lbrace\frac{M}{k^2},\,\left(1-{\frac{\mu^{PL}}{M}}\right)^{(k-1)}\right\rbrace\right)$ on a class of convex functions with $M$-Lipschitz-continuous gradient that satisfy Polyak – Lojasiewicz condition. Algorithms do not need values of $M$ and $\mu^{PL}$. If Polyak – Lojasiewicz condition does not hold, the convergence is $O\left(\frac1{k^2}\right)$, but no tuning needed.

We also consider the adaptive catalyst envelope of non-accelerated gradient methods. The envelope allows acceleration up to $O\left(\frac1{k^2}\right)$. We present numerical comparison of non-accelerated adaptive gradient descent which is accelerated using adaptive catalyst envelope with AGMsDR, Alternating AGMsDR, APDAGD (Adaptive Primal-Dual Accelerated Gradient Descent) and Sinkhorn's algorithm on the problem dual to the optimal transport problem.

Conducted experiments show faster convergence of alternating AGMsDR in comparison with described catalyst approach and AGMsDR, despite the same asymptotic rate $O\left(\frac1{k^2}\right)$. Such behavior can be explained by linear convergence of AGMsDR method and was tested on quadratic functions. Alternating AGMsDR demonstrated better performance in comparison with AGMsDR.