Все выпуски

В работе рассматриваются развитие и применение метода учета заполненности прямоугольных ячеек материальной средой, в частности жидкостью для повышения гладкости и точности конечно-разностного решения задач гидродинамики со сложной формой граничной поверхности. Для исследования возможностей предлагаемых разностных схем рассмотрены две задачи вычислительной гидродинамики — пространственно-двумерного течения вязкой жидкости между двумя соосными полуцилиндрами и переноса веществ между соосными полуцилиндрами. Аппроксимация задач по времени выполнена на основе схем расщепления по физическим процессам. Дискретизация операторов диффузии и конвекции выполнена на основе интегроинтерполяционного метода с учетом заполненности ячеек и без ее учета. Для решения задачи диффузии – конвекции при больших сеточных числах Пекле предложено использовать разностную схему, учитывающую функцию заполненности ячеек, и схему, построенную на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами, полученными в результате минимизации погрешности аппроксимации при малых числах Куранта. Для оценки точности численного решения в качестве эталона используется аналитическое решение, описывающее течение Куэтта – Тейлора. В случае непосредственного использования прямоугольных сеток (ступенчатой аппроксимации границ) относительная погрешность расчетов достигает 70 %, при тех же условиях использование предлагаемого метода позволяет уменьшить погрешность до 6%. Показано, что дробление прямоугольной сетки в 2–8 раз по каждому из пространственных направлений не приводит к такому же повышению точности, которой обладают численные решения, полученные с учетом заполненности ячеек. Предложенные разностные схемы, построенные на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами 2/3 и 1/3 соответственно, полученные в результате минимизации порядка погрешности аппроксимации, для задачи диффузии – конвекции обладают меньшей сеточной вязкостью и, как следствие, точнее описывают поведение решения в случае больших сеточных чисел Пекле.

The paper discusses the development and application of the accounting rectangular cell fullness method with material substance, in particular, a liquid, to increase the smoothness and accuracy of a finite-difference solution of hydrodynamic problems with a complex shape of the boundary surface. Two problems of computational hydrodynamics are considered to study the possibilities of the proposed difference schemes: the spatial-twodimensional flow of a viscous fluid between two coaxial semi-cylinders and the transfer of substances between coaxial semi-cylinders. Discretization of diffusion and convection operators was performed on the basis of the integro-interpolation method, taking into account taking into account the fullness of cells and without it. It is proposed to use a difference scheme, for solving the problem of diffusion – convection at large grid Peclet numbers, that takes into account the cell population function, and a scheme on the basis of linear combination of the Upwind and Standard Leapfrog difference schemes with weight coefficients obtained by minimizing the approximation error at small Courant numbers. As a reference, an analytical solution describing the Couette – Taylor flow is used to estimate the accuracy of the numerical solution. The relative error of calculations reaches 70% in the case of the direct use of rectangular grids (stepwise approximation of the boundaries), under the same conditions using the proposed method allows to reduce the error to 6%. It is shown that the fragmentation of a rectangular grid by 2–8 times in each of the spatial directions does not lead to the same increase in the accuracy that numerical solutions have, obtained taking into account the fullness of the cells. The proposed difference schemes on the basis of linear combination of the Upwind and Standard Leapfrog difference schemes with weighting factors of 2/3 and 1/3, respectively, obtained by minimizing the order of approximation error, for the diffusion – convection problem have a lower grid viscosity and, as a corollary, more precisely, describe the behavior of the solution in the case of large grid Peclet numbers.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

The article considers minimization of the expectation of convex function. Problems of this type often arise in machine learning and a variety of other applications. In practice, stochastic gradient descent (SGD) and similar procedures are usually used to solve such problems. We propose to use the ellipsoid method with mini-batching, which converges linearly and can be more efficient than SGD for a class of problems. This is verified by our experiments, which are publicly available. The algorithm does not require neither smoothness nor strong convexity of the objective to achieve linear convergence. Thus, its complexity does not depend on the conditional number of the problem. We prove that the method arrives at an approximate solution with given probability when using mini-batches of size proportional to the desired accuracy to the power −2. This enables efficient parallel execution of the algorithm, whereas possibilities for batch parallelization of SGD are rather limited. Despite fast convergence, ellipsoid method can result in a greater total number of calls to oracle than SGD, which works decently with small batches. Complexity is quadratic in dimension of the problem, hence the method is suitable for relatively small dimensionalities.

Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

The paper is devoted to convex-concave saddle point problems where the objective is a sum of a large number of functions. Such problems attract considerable attention of the mathematical community due to the variety of applications in machine learning, including adversarial learning, adversarial attacks and robust reinforcement learning, to name a few. The individual functions in the sum usually represent losses related to examples from a data set. Additionally, the formulation admits a possibly nonsmooth composite term. Such terms often reflect regularization in machine learning problems. We assume that the dimension of one of the variable groups is relatively small (about a hundred or less), and the other one is large. This case arises, for example, when one considers the dual formulation for a minimization problem with a moderate number of constraints. The proposed approach is based on using Vaidya’s cutting plane method to minimize with respect to the outer block of variables. This optimization algorithm is especially effective when the dimension of the problem is not very large. An inexact oracle for Vaidya’s method is calculated via an approximate solution of the inner maximization problem, which is solved by the accelerated variance reduced algorithm Katyusha. Thus, we leverage the structure of the problem to achieve fast convergence. Separate complexity bounds for gradients of different components with respect to different variables are obtained in the study. The proposed approach is imposing very mild assumptions about the objective. In particular, neither strong convexity nor smoothness is required with respect to the low-dimensional variable group. The number of steps of the proposed algorithm as well as the arithmetic complexity of each step explicitly depend on the dimensionality of the outer variable, hence the assumption that it is relatively small.

В работе приведены различные модификации алгоритма Frank–Wolfe для задачи поиска равновесного распределения потоков. В качестве модели для экспериментов используется модель Бекмана. В этой статье в первую очередь уделяется внимание выбору направления базового шага алгоритма Frank–Wolfe (FW). Будут представлены алгоритмы: Conjugate Frank–Wolfe (CFW), Bi-conjugate Frank–Wolfe (BFW), Fukushima Frank–Wolfe (FFW). Каждой модификации соответствуют различные подходы к выбору этого направления. Некоторые из этих модификаций описаны в предыдущих работах авторов. В данной статье будут предложены алгоритмы N-conjugate Frank–Wolfe (NFW) и Weighted Fukushima Frank–Wolfe (WFFW). Эти алгоритмы являются некоторым идейным продолжением алгоритмов BFW и FFW. Таким образом, если первый алгоритм использовал на каждой итерации два последних направления предыдущих итераций для выбора следующего направления, сопряженного к ним, то предложенный алгоритм NFW использует $N$ предыдущих направлений. В случае же Fukushima Frank –Wolfe в качестве следующего направления берется среднее от нескольких предыдущих направлений. Соответственно этому алгоритму предложена модификация WFFW, использующая экспоненциальное сглаживание по предыдущим направлениям. Для сравнительного анализа были проведены эксперименты с различными модификациями на нескольких наборах данных, представляющих городские структуры и взятых из общедоступных источников. За метрику качества была взята величина относительного зазора. Результаты экспериментов показали преимущество алгоритмов, использующих предыдущие направления для выбора шага, перед классическим алгоритмом Frank–Wolfe. Кроме того, было выявлено улучшение эффективности при использовании более двух сопряженных направлений. Например, на многих датасетах модификация 3-conjugate FW сходилась наилучшим образом. Кроме того, предложенная модификация WFFW зачастую обгоняла FFW и CFW, хотя и проигрывала модификациям NFW.

The paper presents various modifications of the Frank–Wolfe algorithm in the equilibrium traffic assignment problem. The Beckman model is used as a model for experiments. In this article, first of all, attention is paid to the choice of the direction of the basic step of the Frank–Wolfe algorithm. Algorithms will be presented: Conjugate Frank–Wolfe (CFW), Bi-conjugate Frank–Wolfe (BFW), Fukushima Frank –Wolfe (FFW). Each modification corresponds to different approaches to the choice of this direction. Some of these modifications are described in previous works of the authors. In this article, following algorithms will be proposed: N-conjugate Frank–Wolfe (NFW), Weighted Fukushima Frank–Wolfe (WFFW). These algorithms are some ideological continuation of the BFW and FFW algorithms. Thus, if the first algorithm used at each iteration the last two directions of the previous iterations to select the next direction conjugate to them, then the proposed algorithm NFW is using more than $N$ previous directions. In the case of Fukushima Frank–Wolfe, the average of several previous directions is taken as the next direction. According to this algorithm, a modification WFFW is proposed, which uses a exponential smoothing from previous directions. For comparative analysis, experiments with various modifications were carried out on several data sets representing urban structures and taken from publicly available sources. The relative gap value was taken as the quality metric. The experimental results showed the advantage of algorithms using the previous directions for step selection over the classic Frank–Wolfe algorithm. In addition, an improvement in efficiency was revealed when using more than two conjugate directions. For example, on various datasets, the modification 3FW showed the best convergence. In addition, the proposed modification WFFW often overtook FFW and CFW, although performed worse than NFW.

Решение задачи лазерной спектрометрии позволяет определять размеры частиц в растворе по спектру интенсивности рассеянного света. В результате эксперимента методом динамического рассеяния света получается кривая интенсивности рассеяния, по которой необходимо определить, частицы каких размеров представлены в растворе. Экспериментально полученный спектр интенсивности сравнивается с теоретически ожидаемым спектром, который является кривой Лоренца. Основная задача сводится к тому, чтобы на основании этих данных найти относительные концентрации частиц каждого сорта, представленных в растворе. В статье представлен способ построения и использования нейронной сети, обученной на синтетических данных, для определения размера частиц в растворе в диапазоне 1–500 нм. Нейронная сеть имеет полносвязный слой из 60 нейронов с функцией активации RELU на выходе, слой из 45 нейронов и с аналогичной функцией активации, слой dropout и 2 слоя с количеством нейронов 15 и 1 (выход сети). В статье описано, как сеть обучалась и тестировалась на синтетических и экспериментальных данных. На синтетических данных метрика «среднеквадратичное отклонение» (rmse) дала значение 1.3157 нм. Экспериментальные данные были получены для размеров частиц 200 нм, 400 нм и раствора с представителями обоих размеров. Сравниваются результаты работы нейронной сети и классических линейных методов, основанных на применении различных регуляризаций за счет введения дополнительных параметров и применяемых для определения размера частиц. К недостаткам классических методов можно отнести трудность автоматического определения степени регуляризации: слишком сильная регуляризация приводит к тому, что кривые распределения частиц по размерам сильно сглаживаются, а слабая регуляризация дает осциллирующие кривые и низкую надежность результатов. В работе показано, что нейронная сеть дает хорошее предсказание для частиц с большим размером. Для малых размеров предсказание хуже, но ошибка быстро уменьшается с увеличением размера.

Solution of Dynamic Light Scattering problem makes it possible to determine particle size distribution (PSD) from the spectrum of the intensity of scattered light. As a result of experiment, an intensity curve is obtained. The experimentally obtained spectrum of intensity is compared with the theoretically expected spectrum, which is the Lorentzian line. The main task is to determine on the basis of these data the relative concentrations of particles of each class presented in the solution. The article presents a method for constructing and using a neural network trained on synthetic data to determine PSD in a solution in the range of 1–500 nm. The neural network has a fully connected layer of 60 neurons with the RELU activation function at the output, a layer of 45 neurons and the same activation function, a dropout layer and 2 layers with 15 and 1 neurons (network output). The article describes how the network has been trained and tested on synthetic and experimental data. On the synthetic data, the standard deviation metric (rmse) gave a value of 1.3157 nm. Experimental data were obtained for particle sizes of 200 nm, 400 nm and a solution with representatives of both sizes. The results of the neural network and the classical linear methods are compared. The disadvantages of the classical methods are that it is difficult to determine the degree of regularization: too much regularization leads to the particle size distribution curves are much smoothed out, and weak regularization gives oscillating curves and low reliability of the results. The paper shows that the neural network gives a good prediction for particles with a large size. For small sizes, the prediction is worse, but the error quickly decreases as the particle size increases.

Дискретизация задач по методу гидродинамики сглаженных частиц (SPH) предполагает присутствие в решении нескольких констант — параметров дискретизации. Среди них особо следует отметить модельную скорость звука $c_0$, которая связывает мгновенную плотность в SPH-частице с возникающим давлением через замыкающее уравнение состояния.

В работе изложен подход к точному определению необходимого значения модельной скорости звука, имеющий в своей основе анализ изменения плотностей в SPH-частицах при их относительном смещении. Примером движения сплошной среды принята задача о плоском сдвиговом течении; объектом анализа является функция относительного уплотнения $\varepsilon_\rho$ в SPH-частице, определяемая формой ядра сглаживания. Идеальный плоскопараллельный относительный сдвиг частиц в области сглаживания определяет периодическое изменение их плотностей. Исследование функций $\varepsilon_\rho$, получаемых от использования различных ядер сглаживания в аппроксимации плотности с учетом такого сдвига, позволило установить пульсационный характер возникновения давлений в частицах. Кроме того, определен случай расположения соседей в области сглаживания, обеспечивающий максимум уплотнения в частице.

Сопоставление функций $\varepsilon_\rho$ с SPH-аппроксимацией уравнения движения позволило связать параметр дискретизации $c_0$ с формой ядра сглаживания и прочими параметрами дискретного аналога задачи, в том числе коэффициентом искусственной диссипации. В результате сформулировано уравнение, обеспечивающее нахождение необходимого и достаточного для решения значения модельной скорости звука. Для трех представителей ядер сглаживания приведены выражения корня $c_0$ такого уравнения, упрощенные из полиномов до числовых коэффициентов при параметрах рассматриваемой задачи.

The problem discrete statement by the smoothed particle hydrodynamics method (SPH) include a discretization constants parameters set. Of them particular note is the model sound speed $c_0$, which relates the SPH-particle instantaneous density to the resulting pressure through the equation of state.

The paper describes an approach to the exact determination of the model sound speed required value. It is on the analysis based, how SPH-particle density changes with their relative shift. An example of the continuous medium motion taken the plane shear flow problem; the analysis object is the relative compaction function $\varepsilon_\rho$ in the SPH-particle. For various smoothing kernels was research the functions of $\varepsilon_\rho$, that allowed the pulsating nature of the pressures occurrence in particles to establish. Also the neighbors uniform distribution in the smoothing domain was determined, at which shaping the maximum of compaction in the particle.

Through comparison the function $\varepsilon_\rho$ with the SPH-approximation of motion equation is defined associate the discretization parameter $c_0$ with the smoothing kernel shape and other problem parameters. As a result, an equation is formulated that the necessary and sufficient model sound speed value provides finding. For such equation the expressions of root $c_0$ are given for three different smoothing kernels, that simplified from polynomials to numerical coefficients for the plane shear flow problem parameters.

В работе представлена модель тепловых пристеночных функций FlowVision (WFFV), позволяющая моделировать неизотермические течения жидкости и газа около твердых поверхностей на относительно грубых сетках с использованием различных моделей турбулентности. Настоящая работа продолжает исследование по разработке модели пристеночных функций, применимой в широком диапазоне значений величины y+. Модель WFFV предполагает гладкие профили касательной составляющей скорости, турбулентной вязкости, температуры и турбулентной теплопроводности около твердой поверхности. В работе исследуется возможность использования простой алгебраической модели для вычисления переменного турбулентного числа Прандтля, входящего в модель WFFV в качестве параметра. Результаты удовлетворительные. Обсуждаются особенности реализации модели WFFV в программном комплексе FlowVision. В частности, обсуждается граничное условие для уравнения энергии, используемое в высокорейнольдсовых расчетах неизотермических течений. Граничное условие выводится для уравнения энергии, записанного через термодинамическую энтальпию, и для уравнения энергии, записанного через полную энтальпию. Возможности модели демонстрируются на двух тестовых задачах: течение несжимаемой жидкости около пластины и сверхзвуковое течение газа около пластины (M = 3).

Анализ литературы показывает, что в экспериментальных данных и, как следствие, в эмпирических корреляциях для числа Стэнтона (безразмерного теплового потока) присутствует существенная неопределенность. Результаты расчетов дают основание полагать, что значения параметров модели WFFV, автоматически задаваемые в программе по умолчанию, позволяют рассчитывать тепловые потоки на твердых протяженных поверхностях с инженерной погрешностью. В то же время очевидно, что невозможно изобрести универсальные пристеночные функции. По этой причине управляющие параметры модели WFFV выведены в интерфейс FlowVision. При необходимости пользователь может настраивать модель на нужный класс течений.

Предлагаемая модель пристеночных функций совместима со всеми реализованными в программном комплексе FlowVision моделями турбулентности: Смагоринского, Спаларта–Аллмараса, SST $k-\omega$, $k-\varepsilon$ стандартной, $k-\varepsilon$ Abe Kondoh Nagano, $k-\varepsilon$ квадратичной и $k-\varepsilon$ FlowVision.

This work presents the model of heat wall functions FlowVision (WFFV), which allows simulation of nonisothermal flows of fluid and gas near solid surfaces on relatively coarse grids with use of turbulence models. The work follows the research on the development of wall functions applicable in wide range of the values of quantity y+. Model WFFV assumes smooth profiles of the tangential component of velocity, turbulent viscosity, temperature, and turbulent heat conductivity near a solid surface. Possibility of using a simple algebraic model for calculation of variable turbulent Prandtl number is investigated in this study (the turbulent Prandtl number enters model WFFV as parameter). The results are satisfactory. The details of implementation of model WFFV in the FlowVision software are explained. In particular, the boundary condition for the energy equation used in high-Reynolds number calculations of non-isothermal flows is considered. The boundary condition is deduced for the energy equation written via thermodynamic enthalpy and via full enthalpy. The capability of the model is demonstrated on two test problems: flow of incompressible fluid past a plate and supersonic flow of gas past a plate (M = 3).

Analysis of literature shows that there exists essential ambiguity in experimental data and, as a consequence, in empirical correlations for the Stanton number (that being a dimensionless heat flux). The calculations suggest that the default values of the model parameters, automatically specified in the program, allow calculations of heat fluxes at extended solid surfaces with engineering accuracy. At the same time, it is obvious that one cannot invent universal wall functions. For this reason, the controls of model WFFV are made accessible from the FlowVision interface. When it is necessary, a user can tune the model for simulation of the required type of flow.

The proposed model of wall functions is compatible with all the turbulence models implemented in the FlowVision software: the algebraic model of Smagorinsky, the Spalart-Allmaras model, the SST $k-\omega$ model, the standard $k-\varepsilon$ model, the $k-\varepsilon$ model of Abe, Kondoh, Nagano, the quadratic $k-\varepsilon$ model, and $k-\varepsilon$ model FlowVision.

В работе выделены два значимых геометрических параметра, влияющих на интерполяцию физических величин, в методе гидродинамики сглаженных частиц (SPH). Это коэффициент сглаживания, связывающий размер частицы с величиной радиуса сглаживания, и коэффициент объема, позволяющий корректно определять массу частицы при заданном распределении частиц в среде.

Предложена методика оценки влияния означенных параметров на точность интерполяций в методе SPH при решении гидростатической задачи. Для оценки точности численного решения вводятся аналитические функции относительной погрешности восстановления плотности и градиента давления в среде. Функции погрешности зависят от коэффициента сглаживания и коэффициента объема. Выбор конкретной интерполяции метода SPH позволяет преобразовать дифференциальную форму функций погрешности к форме алгебраического полинома. Корни такого полинома дают значения коэффициента сглаживания, обеспечивающие минимальную погрешность соответствующей интерполяции при заданном коэффициенте объема.

В работе осуществлены вывод и анализф ункций относительных погрешностей плотности и градиента давления на выборке популярных ядер с различными радиусами сглаживания. Установлено, что для всех рассмотренных ядер не существует общего значения коэффициента сглаживания, обеспечивающего минимальную погрешность обеих SPH-интерполяций. Выделены представители ядер с различными радиусами сглаживания, позволяющие обеспечить наименьшие погрешности SPH-интерполяций при решении гидростатической задачи. Также определены некоторые ядра, не позволяющие обеспечить корректное интерполирование при решении гидростатической задачи методом SPH.

The two significant geometric parameters are proposed that affect the physical quantities interpolation in the smoothed particle hydrodynamics method (SPH). They are: the smoothing coefficient which the particle size and the smoothing radius are connecting and the volume coefficient which determine correctly the particle mass for a given particles distribution in the medium.

In paper proposes a technique for these parameters influence assessing on the SPH method interpolations accuracy when the hydrostatic problem solving. The analytical functions of the relative error for the density and pressure gradient in the medium are introduced for the accuracy estimate. The relative error functions are dependent on the smoothing factor and the volume factor. Designating a specific interpolation form in SPH method allows the differential form of the relative error functions to the algebraic polynomial form converting. The root of this polynomial gives the smoothing coefficient values that provide the minimum interpolation error for an assigned volume coefficient.

In this work, the derivation and analysis of density and pressure gradient relative errors functions on a sample of popular nuclei with different smoothing radius was carried out. There is no common the smoothing coefficient value for all the considered kernels that provides the minimum error for both SPH interpolations. The nuclei representatives with different smoothing radius are identified which make it possible the smallest errors of SPH interpolations to provide when the hydrostatic problem solving. As well, certain kernels with different smoothing radius was determined which correct interpolation do not allow provide when the hydrostatic problem solving by the SPH method.

Данная статья посвящена повышению скоростных гарантий численных методов градиентного типа для относительно гладких и относительно липшицевых задач минимизации в случае дополнительных предположений о некоторых аналогах сильной выпуклости целевой функции. Рассматриваются два класса задач: выпуклые задачи с условием относительного функционального роста, а также задачи (вообще говоря, невыпуклые) с аналогом условия градиентного доминирования Поляка – Лоясиевича относительно дивергенции Брэгмана. Для первого типа задач мы предлагаем две схемы рестартов методов градиентного типа и обосновываем теоретические оценки сходимости двух алгоритмов с адаптивно подбираемыми параметрами, соответствующими относительной гладкости или липшицевости целевой функции. Первый из этих алгоритмов проще в части критерия выхода из итерации, но для него близкие к оптимальным вычислительные гарантии обоснованы только на классе относительно липшицевых задач. Процедура рестартов другого алгоритма, в свою очередь, позволила получить более универсальные теоретические результаты. Доказана близкая к оптимальной оценка сложности на классе выпуклых относительно липшицевых задач с условием функционального роста, а для класса относительно гладких задач с условием функционального роста получены гарантии линейной скорости сходимости. На классе задач с предложенным аналогом условия градиентного доминирования относительно дивергенции Брэгмана были получены оценки качества выдаваемого решения с использованием адаптивно подбираемых параметров. Также мы приводим результаты некоторых вычислительных экспериментов, иллюстрирующих работу методов для второго исследуемого в настоящей статье подхода. В качестве примеров мы рассмотрели линейную обратную задачу Пуассона (минимизация дивергенции Кульбака – Лейблера), ее регуляризованный вариант, позволяющий гарантировать относительную сильную выпуклость целевой функции, а также некоторый пример относительно гладкой и относительно сильно выпуклой задачи. В частности, с помощью расчетов показано, что относительно сильно выпуклая функция может не удовлетворять введенному относительному варианту условия градиентного доминирования.

This paper is devoted to some variants of improving the convergence rate guarantees of the gradient-type algorithms for relatively smooth and relatively Lipschitz-continuous problems in the case of additional information about some analogues of the strong convexity of the objective function. We consider two classes of problems, namely, convex problems with a relative functional growth condition, and problems (generally, non-convex) with an analogue of the Polyak – Lojasiewicz gradient dominance condition with respect to Bregman divergence. For the first type of problems, we propose two restart schemes for the gradient type methods and justify theoretical estimates of the convergence of two algorithms with adaptively chosen parameters corresponding to the relative smoothness or Lipschitz property of the objective function. The first of these algorithms is simpler in terms of the stopping criterion from the iteration, but for this algorithm, the near-optimal computational guarantees are justified only on the class of relatively Lipschitz-continuous problems. The restart procedure of another algorithm, in its turn, allowed us to obtain more universal theoretical results. We proved a near-optimal estimate of the complexity on the class of convex relatively Lipschitz continuous problems with a functional growth condition. We also obtained linear convergence rate guarantees on the class of relatively smooth problems with a functional growth condition. For a class of problems with an analogue of the gradient dominance condition with respect to the Bregman divergence, estimates of the quality of the output solution were obtained using adaptively selected parameters. We also present the results of some computational experiments illustrating the performance of the methods for the second approach at the conclusion of the paper. As examples, we considered a linear inverse Poisson problem (minimizing the Kullback – Leibler divergence), its regularized version which allows guaranteeing a relative strong convexity of the objective function, as well as an example of a relatively smooth and relatively strongly convex problem. In particular, calculations show that a relatively strongly convex function may not satisfy the relative variant of the gradient dominance condition.

Настоящая статья посвящена некоторым адаптивным методам первого порядка для оптимизационных задач с относительно сильно выпуклыми функционалами. Недавно возникшее в оптимизации понятие относительной сильной выпуклости существенно расширяет класс выпуклых задач посредством замены в определении евклидовой нормы расстоянием в более общем смысле (точнее — расхождением или дивергенцией Брегмана). Важная особенность рассматриваемых в настоящей работе классов задач — обобщение стандартных требований к уровню гладкости целевых функционалов. Точнее говоря, рассматриваются относительно гладкие и относительно липшицевые целевые функционалы. Это может позволить применять рассматриваемую методику для решения многих прикладных задач, среди которых можно выделить задачу о нахождении общей точки системы эллипсоидов, а также задачу бинарной классификации с помощью метода опорных векторов. Если целевой функционал минимизационной задачи выпуклый, то условие относительной сильной выпуклости можно получить посредством регуляризации. В предлагаемой работе впервые предложены адаптивные методы градиентного типа для задач оптимизации с относительно сильно выпуклыми и относительно липшицевыми функционалами. Далее, в статье предложены универсальные методы для относительно сильно выпуклых задач оптимизации. Указанная методика основана на введении искусственной неточности в оптимизационную модель. Это позволило обосновать применимость предложенных методов на классе относительно гладких, так и на классе относительно липшицевых функционалов. При этом показано, как можно реализовать одновременно адаптивную настройку на значения параметров, соответствующих как гладкости задачи, так и введенной в оптимизационную модель искусственной неточности. Более того, показана оптимальность оценок сложности с точностью до умножения на константу для рассмотренных в работе универсальных методов градиентного типа для обоих классов относительно сильно выпуклых задач. Также в статье для задач выпуклого программирования с относительно липшицевыми функционалами обоснована возможность использования специальной схемы рестартов алгоритма зеркального спуска и доказана оптимальная оценка сложности такого алгоритма. Также приводятся результаты некоторых вычислительных экспериментов для сравнения работы предложенных в статье методов и анализируется целесообразность их применения.

The article is devoted to first-order adaptive methods for optimization problems with relatively strongly convex functionals. The concept of relatively strong convexity significantly extends the classical concept of convexity by replacing the Euclidean norm in the definition by the distance in a more general sense (more precisely, by Bregman’s divergence). An important feature of the considered classes of problems is the reduced requirements concerting the level of smoothness of objective functionals. More precisely, we consider relatively smooth and relatively Lipschitz-continuous objective functionals, which allows us to apply the proposed techniques for solving many applied problems, such as the intersection of the ellipsoids problem (IEP), the Support Vector Machine (SVM) for a binary classification problem, etc. If the objective functional is convex, the condition of relatively strong convexity can be satisfied using the problem regularization. In this work, we propose adaptive gradient-type methods for optimization problems with relatively strongly convex and relatively Lipschitzcontinuous functionals for the first time. Further, we propose universal methods for relatively strongly convex optimization problems. This technique is based on introducing an artificial inaccuracy into the optimization model, so the proposed methods can be applied both to the case of relatively smooth and relatively Lipschitz-continuous functionals. Additionally, we demonstrate the optimality of the proposed universal gradient-type methods up to the multiplication by a constant for both classes of relatively strongly convex problems. Also, we show how to apply the technique of restarts of the mirror descent algorithm to solve relatively Lipschitz-continuous optimization problems. Moreover, we prove the optimal estimate of the rate of convergence of such a technique. Also, we present the results of numerical experiments to compare the performance of the proposed methods.