Все выпуски

В данной статье предлагаются методы оптимизации высокого порядка (тензорные методы) для решения двух типов седловых задач. Первый тип — это классическая мин-макс-постановка для поиска седловой точки функционала. Второй тип — это поиск стационарной точки функционала седловой задачи путем минимизации нормы градиента этого функционала. Очевидно, что стационарная точка не всегда совпадает с точкой оптимума функции. Однако необходимость в решении подобного типа задач может возникать в случае, если присутствуют линейные ограничения. В данном случае из решения задачи поиска стационарной точки двойственного функционала можно восстановить решение задачи поиска оптимума прямого функционала. В обоих типах задач какие-либо ограничения на область определения целевого функционала отсутствуют. Также мы предполагаем, что целевой функционал является $\mu$-сильно выпуклыми $\mu$-сильно вогнутым, а также что выполняется условие Липшица для его $p$-й производной.

Для задач типа «мин-макс» мы предлагаем два алгоритма. Так как мы рассматриваем сильно выпуклую и сильно вогнутую задачу, первый алгоритмиспо льзует существующий тензорный метод для решения выпуклых вогнутых седловых задач и ускоряет его с помощью техники рестартов. Таким образом удается добиться линейной скорости сходимости. Используя дополнительные предположения о выполнении условий Липшица для первой и второй производных целевого функционала, можно дополнительно ускорить полученный метод. Для этого можно «переключиться» на другой существующий метод для решения подобных задач в зоне его квадратичной локальной сходимости. Так мы получаем второй алгоритм, обладающий глобальной линейной сходимостью и локальной квадратичной сходимостью. Наконец, для решения задач второго типа существует определенная методология для тензорных методов в выпуклой оптимизации. Суть ее заключается в применении специальной «обертки» вокруг оптимального метода высокого порядка. Причем для этого условие сильной выпуклости не является необходимым. Достаточно лишь правильным образом регуляризовать целевой функционал, сделав его таким образом сильно выпуклым и сильно вогнутым. В нашей работе мы переносим эту методологию на выпукло-вогнутые функционалы и используем данную «обертку» на предлагаемом выше алгоритме с глобальной линейной сходимостью и локальной квадратичной сходимостью. Так как седловая задача является частным случаем монотонного вариационного неравенства, предлагаемые методы также подойдут для поиска решения сильно монотонных вариационных неравенств.

In this paper we propose high-order (tensor) methods for two types of saddle point problems. Firstly, we consider the classic min-max saddle point problem. Secondly, we consider the search for a stationary point of the saddle point problem objective by its gradient norm minimization. Obviously, the stationary point does not always coincide with the optimal point. However, if we have a linear optimization problem with linear constraints, the algorithm for gradient norm minimization becomes useful. In this case we can reconstruct the solution of the optimization problem of a primal function from the solution of gradient norm minimization of dual function. In this paper we consider both types of problems with no constraints. Additionally, we assume that the objective function is $\mu$-strongly convex by the first argument, $\mu$-strongly concave by the second argument, and that the $p$-th derivative of the objective is Lipschitz-continous.

For min-max problems we propose two algorithms. Since we consider strongly convex a strongly concave problem, the first algorithm uses the existing tensor method for regular convex concave saddle point problems and accelerates it with the restarts technique. The complexity of such an algorithm is linear. If we additionally assume that our objective is first and second order Lipschitz, we can improve its performance even more. To do this, we can switch to another existing algorithm in its area of quadratic convergence. Thus, we get the second algorithm, which has a global linear convergence rate and a local quadratic convergence rate.

Finally, in convex optimization there exists a special methodology to solve gradient norm minimization problems by tensor methods. Its main idea is to use existing (near-)optimal algorithms inside a special framework. I want to emphasize that inside this framework we do not necessarily need the assumptions of strong convexity, because we can regularize the convex objective in a special way to make it strongly convex. In our article we transfer this framework on convex-concave objective functions and use it with our aforementioned algorithm with a global linear convergence and a local quadratic convergence rate.

Since the saddle point problem is a particular case of the monotone variation inequality problem, the proposed methods will also work in solving strongly monotone variational inequality problems.

Рассмотрены вопросы адекватности разработанной ранее автором модели для анализа неравенства доходов, основанной на эмпирически подтвержденной гипотезе о том, что относительные (по отношению к доходу наиболее богатой группы) величины дохода 20% групп населения в совокупном доходе могут быть приближенно представлены в виде конечной функциональной последовательности, каждый член которой зависит от одного параметра — специально определенного показателя неравенства. Показано, что в дополнение к существующим методам анализа неравенства с помощью этой модели можно определить зависимость доли дохода 20%, 10% и более мелких групп населения от уровня неравенства, выявить особенности их изменения при росте неравенства, рассчитать уровень неравенства при известных соотношениях между доходами различных групп населения и др.

В работе приводится более подробное подтверждение адекватности предложенной модели по сравнению с полученными ранее результатами статистического анализа эмпирических данных о распределении доходов между 20%- и 10%-ми группами населения. Оно основано на анализе определенных соотношений между величинами квинтилей и децилей согласно предлагаемой модели. Проверка этих соотношений проведена по совокупности данных для большого числа стран. Полученные оценки подтверждают достаточно высокую точность модели.

Приведены данные, которые подтверждают возможность применения модели для анализа зависимости распределения доходов по группам населения от уровня неравенства, а также для оценки показателя неравенства для вариантов соотношений доходов между различными группами, в том числе когда доход 20% наиболее богатых равен доходу 60% бедных, доходу 40% среднего класса или доходу 80% остального населения, а также когда доход 10% самых богатых равен доходу 40%, 50% или 60% бедных, доходу различных групп среднего класса и др., а также для случаев, когда распределение доходов подчиняется гармоническим пропорциям и когда квинтили и децили, соответствующие среднему классу, достигают максимума. Показано, что доли дохода наиболее богатых групп среднего класса относительно стабильны и имеют максимум при определенных уровнях неравенства.

Полученные с помощью модели результаты могут быть использованы для определения нормативов при разработке политики поэтапного повышении уровня прогрессивного налогообложения с целью перехода к уровню неравенства, характерному для стран с социально ориентированной экономикой.

The paper considers the adequacy of the model developed earlier by the author for the analysis of income inequality and based on an empirically confirmed hypothesis that the relative (to the income of the richest group) income values of 20% population groups in total income can be represented as a finite functional sequence, each member of which depends on one parameter — a specially defined indicator of inequality. It is shown that in addition to the existing methods of inequality analysis, the model makes it possible to estimate with the help of analytical expressions the income shares of 20%, 10% and smaller groups of the population for different levels of inequality, as well as to identify how they change with the growth of inequality, to estimate the level of inequality for known ratios between the incomes of different groups of the population, etc.

The paper provides a more detailed confirmation of the proposed model adequacy in comparison with the previously obtained results of statistical analysis of empirical data on the distribution of income between the 20% and 10% population groups. It is based on the analysis of certain ratios between the values of quintiles and deciles according to the proposed model. The verification of these ratios was carried out using a set of data for a large number of countries and the estimates obtained confirm the sufficiently high accuracy of the model.

Data are presented that confirm the possibility of using the model to analyze the dependence of income distribution by population groups on the level of inequality, as well as to estimate the inequality indicator for income ratios between different groups, including variants when the income of the richest 20% is equal to the income of the poor 60 %, income of the middle class 40% or income of the rest 80% of the population, as well as when the income of the richest 10% is equal to the income of the poor 40 %, 50% or 60%, to the income of various middle class groups, etc., as well as for cases, when the distribution of income obeys harmonic proportions and when the quintiles and deciles corresponding to the middle class reach a maximum. It is shown that the income shares of the richest middle class groups are relatively stable and have a maximum at certain levels of inequality.

The results obtained with the help of the model can be used to determine the standards for developing a policy of gradually increasing the level of progressive taxation in order to move to the level of inequality typical of countries with social oriented economy.

Работа посвящена исследованию субградиентных методов с различными вариациями шага Б.Т. Поляка на классах задач минимизации слабо выпуклых и относительно слабо выпуклых функций, обладающих соответствующим аналогом острого минимума. Оказывается, что при некоторых предположениях о начальной точке такой подход может давать возможность обосновать сходимость сyбградиентного метода со скоростью геометрической прогрессии. Для субградиентного метода с шагом Б.Т. Поляка доказана уточненная оценка скорости сходимости для задач минимизации слабо выпуклых функций с острым минимумом. Особенность этой оценки — дополнительный учет сокращения расстояния от текущей точки метода до множества решений по мере роста количества итераций. Представлены результаты численных экспериментов для задачи восстановления фазы (которая слабо выпyкла и имеет острый минимyм), демонстрирующие эффективность предложенного подхода к оценке скорости сходимости по сравнению с известным ранее результатом. Далее, предложена вариация субградиентного метода с переключениями по продуктивным и непродуктивным шагам для слабо выпуклых задач с ограничениями-неравенствами и получен некоторый аналог результата о сходимости со скоростью геометрической прогрессии. Для субградиентного метода с соответствующей вариацией шага Б.Т. Поляка на классе относительно липшицевых и относительно слабо выпуклых функций с относительным аналогом острого минимума получены условия, которые гарантируют сходимость такого субградиентного метода со скоростью геометрической прогрессии. Наконец, получен теоретический результат, описывающий влияние погрешности доступной сyбградиентномy методу информации о (сyб)градиенте и целевой функции на оценку качества выдаваемого приближенного решения. Доказано, что при достаточно малой погрешности $\delta > 0$ можно гарантировать достижение точности решения, сопоставимой c $\delta$.

The work is devoted to the study of subgradient methods with different variations of the Polyak stepsize for minimization functions from the class of weakly convex and relatively weakly convex functions that have the corresponding analogue of a sharp minimum. It turns out that, under certain assumptions about the starting point, such an approach can make it possible to justify the convergence of the subgradient method with the speed of a geometric progression. For the subgradient method with the Polyak stepsize, a refined estimate for the rate of convergence is proved for minimization problems for weakly convex functions with a sharp minimum. The feature of this estimate is an additional consideration of the decrease of the distance from the current point of the method to the set of solutions with the increase in the number of iterations. The results of numerical experiments for the phase reconstruction problem (which is weakly convex and has a sharp minimum) are presented, demonstrating the effectiveness of the proposed approach to estimating the rate of convergence compared to the known one. Next, we propose a variation of the subgradient method with switching over productive and non-productive steps for weakly convex problems with inequality constraints and obtain the corresponding analog of the result on convergence with the rate of geometric progression. For the subgradient method with the corresponding variation of the Polyak stepsize on the class of relatively Lipschitz and relatively weakly convex functions with a relative analogue of a sharp minimum, it was obtained conditions that guarantee the convergence of such a subgradient method at the rate of a geometric progression. Finally, a theoretical result is obtained that describes the influence of the error of the information about the (sub)gradient available by the subgradient method and the objective function on the estimation of the quality of the obtained approximate solution. It is proved that for a sufficiently small error $\delta > 0$, one can guarantee that the accuracy of the solution is comparable to $\delta$.

Предлагается нелинейная рестриктивная (подчиняющаяся ограничениям типа неравенств) динамическая математическая модель свободного рынка многих товаров в условиях лага поставок товаров на рынок и линейной зависимости вектора спроса от вектора цен. Ставится задача отыскания оптимальных с точки зрения прибыли продавца цен и поставок товаров на рынок. Показано, что максимальная суммарная прибыль продавца выражается непрерывной кусочногладкой функцией вектора объемов поставок с разрывом производных на границах зон товарного дефицита, затоваривания и динамического равновесия рынка по каждому из товаров. С использованием аппарата предикатных функций построен вычислительный алгоритм оптимизации поставок товаров на рынок.

The nonlinear restrictive (with restrictions of the inequalities type) dynamic mathematical model of the committed competition vacant market of many goods in conditions of the goods deliveries time-lag and of the linear dependency of the demand vector from the prices vector is offered. The problem of finding of prices and deliveries of goods into the market which are optimal (from seller’s profit standpoint) is formulated. It is shown the seller’s total profit maximum is expressing by the continuous piecewise smooth function of vector of volumes of deliveries with breakup of the derivative on borders of zones of the goods deficit, of the overstocking and of the dynamic balance of demand and offer of each of goods. With use of the predicate functions technique the computing algorithm of optimization of the goods deliveries into the market is built.