Все выпуски

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

The article considers minimization of the expectation of convex function. Problems of this type often arise in machine learning and a variety of other applications. In practice, stochastic gradient descent (SGD) and similar procedures are usually used to solve such problems. We propose to use the ellipsoid method with mini-batching, which converges linearly and can be more efficient than SGD for a class of problems. This is verified by our experiments, which are publicly available. The algorithm does not require neither smoothness nor strong convexity of the objective to achieve linear convergence. Thus, its complexity does not depend on the conditional number of the problem. We prove that the method arrives at an approximate solution with given probability when using mini-batches of size proportional to the desired accuracy to the power −2. This enables efficient parallel execution of the algorithm, whereas possibilities for batch parallelization of SGD are rather limited. Despite fast convergence, ellipsoid method can result in a greater total number of calls to oracle than SGD, which works decently with small batches. Complexity is quadratic in dimension of the problem, hence the method is suitable for relatively small dimensionalities.

Данная работа посвящена применению теории S-сплайнов для решения уравнений в частных производных на примере уравнения Пуассона. S-сплайн — кусочно-полиномиальная функция, коэффициенты полиномов которой определяются из двух условий: первая часть коэффициентов определяется условиями гладкой склейки, остальные определяются методом наименьших квадратов. В зависимости от порядка рассматриваемых полиномов и соотношения между количеством условий первого и второго типов мы получаем S-сплайны с разными свойствами. На настоящий момент изучены сплайны 3-й степени класса C¹ и сплайны 5-й степени класса C²(т.е. на них накладывались условия гладкой склейки вплоть до первой и второй производных соответственно). Мы рассмотрим, каким образом могут быть применены сплайны 3-й степени класса C¹ при решении уравнения Пуассона на круге и в других областях.

This article is dedicated to use of S-spline theory for solving equations in partial derivatives. For example, we consider solution of the Poisson equation. S-spline — is a piecewise-polynomial function. Its coefficients are defined by two states. The first part of coefficients are defined by smoothness of the spline. The second coefficients are determined by least-squares method. According to order of considered polynomial and number of conditions of first and second type we get S-splines with different properties. At this moment we have investigated order 3 S-splines of class C¹ and order 5 S-splines of class C² (they meet conditions of smoothness of order 1 and 2 respectively). We will consider how the order 3 S-splines of class C¹ can be applied for solving equation of Poisson on circle and other areas.

Получены асимптотические формулы для верхних граней уклонений прямоугольных сумм Валле Пуссена на классах периодических функций двух переменных высокой гладкости. Эти соотношения в некоторых важных случаях обеспечивают решение известной задачи Колмогорова–Никольского для прямоугольных сумм Валле Пуссена и указанных классов функций.

We obtain asymptotic equalities for upper bounds of the deviations of the right-angled de la Vallee Poussin sums taken over classes of periodical functions of two variables of high smoothness. These equalities guarantee the solvability of the Kolmogorov–Nikol’skii problem for the right-angled de la Vallee Poussin sums on the specified classes of functions.

Получены асимптотические формулы для верхних граней уклонений прямоугольных сумм Валле Пуссена на классах периодических функций многих переменных высокой гладкости. Эти соотношения в некоторых важных случаях обеспечивают решение известной задачи Колмогорова–Никольского для прямоугольных сумм Валле Пуссена и указанных классов функций.

We obtain asymptotic equalities for upper bounds of the deviations of the right-angled de la Vallee Poussin sums taken over classes of periodical functions of many variables of high smoothness. These equalities guarantee the solvability of the Kolmogorov–Nikol’skii problem for the right-angled de la Vallee Poussin sums on the specified classes of functions.

Схемы WENO (взвешенные, существенно не осциллирующие схемы) в настоящее время имеют достаточно обширную область применения для аппроксимации разрывных решений в уравнениях в частных производных. Данные схемы применялись для прямого численного моделирования и моделирования динамики больших вихрей в задачах газовой динамики, задачах МГД и даже для задач нейтронной кинетики. Данная работа посвящена уточнению некоторых характеристик схем WENO и численному моделированию характерных задач, которые позволяют сделать выводы обоб ласти применимости данных схем. Первая часть работы содержала результаты по доказательству свойств аппроксимации, устойчивости и сходимости схем WENO5, WENO7, WENO9, WENO11 и WENO13. Во второй части работы проводится модифицированный волновой анализ, позволяющий сделать вывод о дисперсионных и диссипативных свойствах схем. Далее, проводится численное моделирование ряда характерных задач для уравнений гиперболического типа: уравнений переноса (одномерное и двухмерное), уравнения Хопфа, уравнения Бюргерса (с малой диссипацией) и уравнения динамики невязкого газа (одномерное и двухмерное). Для каждой из задач, подразумевающих гладкое решение, приведено практическое вычисление порядка аппроксимации с помощью метода Рунге. Во всех задачах проверяются выводы, сделанные в первой части работы по влиянию шага по времени на нелинейные свойства схем. В частности, для уравнений переноса разрывной функции и уравнений Хопфа показано, что невыполнение указанных рекомендаций ведет вначале к росту вариации решения, а затем включается диссипативный нелинейный механизм схемы и аппроксимация падает. Практически подтверждены выводы первой части по условиям устойчивости. Для одномерного уравнения Бюргерса проведено моделирование затухания случайно распределенных начальных условий в периодической области и выполнено сопоставление со спектральным методом. Делается вывод о применимости схем WENO7–WENO13 для прямого численного моделирования турбулентности. В конце демонстрируются возможности схем на начально-краевых задачах для уравнений динамики невязкого газа: неустойчивость Рэлея–Тейлора и отражение ударной волны от клина с образованием сложной конфигурации ударных волн и разрывов.

WENO schemes (weighted, essentially non oscillating) are currently having a wide range of applications as approximate high order schemes for discontinuous solutions of partial differential equations. These schemes are used for direct numerical simulation (DNS) and large eddy simmulation in the gas dynamic problems, problems for DNS in MHD and even neutron kinetics. This work is dedicated to clarify some characteristics of WENO schemes and numerical simulation of specific tasks. Results of the simulations can be used to clarify the field of application of these schemes. The first part of the work contained proofs of the approximation properties, stability and convergence of WENO5, WENO7, WENO9, WENO11 and WENO13 schemes. In the second part of the work the modified wave number analysis is conducted that allows to conclude the dispersion and dissipative properties of schemes. Further, a numerical simulation of a number of specific problems for hyperbolic equations is conducted, namely for advection equations (one-dimensional and two-dimensional), Hopf equation, Burgers equation (with low dissipation) and equations of non viscous gas dynamics (onedimensional and two-dimensional). For each problem that is implying a smooth solution, the practical calculation of the order of approximation via Runge method is performed. The influence of a time step on nonlinear properties of the schemes is analyzed experimentally in all problems and cross checked with the first part of the paper. In particular, the advection equations of a discontinuous function and Hopf equations show that the failure of the recommendations from the first part of the paper leads first to an increase in total variation of the solution and then the approximation is decreased by the non-linear dissipative mechanics of the schemes. Dissipation of randomly distributed initial conditions in a periodic domain for one-dimensional Burgers equation is conducted and a comparison with the spectral method is performed. It is concluded that the WENO7–WENO13 schemes are suitable for direct numerical simulation of turbulence. At the end we demonstrate the possibility of the schemes to be used in solution of initial-boundary value problems for equations of non viscous gas dynamics: Rayleigh–Taylor instability and the reflection of the shock wave from a wedge with the formation a complex configuration of shock waves and discontinuities.

В работе предлагается новая версия метода Гаусса–Ньютона для решения системы нелинейных уравнений, основанная на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. Предложенная версия метода Гаусса–Ньютона на практике фактически задает целое параметризованное семейство методов решения систем нелинейных уравнений и задач восстановления регрессионной зависимости. Разработанное семейство методов Гаусса–Ньютона состоит целиком из итеративных методов, включающих в себя также специальные формы алгоритмов Левенберга–Марквардта, с обобщением на случаи применения в неевклидовых нормированных пространствах. В разработанных методах используется локальная модель, осуществляющая параметризованное проксимальное отображение и допускающая на практике применение неточного оракула в формате «черного ящика» с ограничением на точность вычисления и на сложность вычисления. Для разработанного семейства методов приведен анализ эффективности в терминах количества итераций алгоритма, точности и сложности представления локальной модели и вычисления оракула, параметров размерности решаемой задачи с выводом локальной и глобальной сходимости при использовании произвольного оракула. В работе представлены условия глобальной сублинейной сходимости для предложенного семейства методов решения системы нелинейных уравнений, состоящих из гладких по Липшицу функций. В рамках дополнительных естественных предположений о невырожденности системы нелинейных функций установлена локальная суперлинейная сходимость для рассмотренного семейства методов. При выполнении условия Поляка–Лоясиевича для системы нелинейных уравнений доказана локальная и глобальная линейная сходимость рассмотренных методов Гаусса–Ньютона. Помимо теоретического обоснования методов, в работе рассматриваются вопросы их практической реализации. В частности, в проведенных экспериментах для точного оракула приводятся схемы эффективного вычисления в зависимости от параметров размерности решаемой задачи. Предложенное семейство методов объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса–Ньютона, позволяя получить гибкий и удобный в использовании метод, реализуемый на практике с помощью стандартных техник выпуклой оптимизации и вычислительной линейной алгебры.

In this paper, we introduce a new version of Gauss–Newton method for solving a system of nonlinear equations based on ideas of the residual upper bound for a system of nonlinear equations and a quadratic regularization term. The introduced Gauss–Newton method in practice virtually forms the whole parameterized family of the methods solving systems of nonlinear equations and regression problems. The developed family of Gauss–Newton methods completely consists of iterative methods with generalization for cases of non-euclidean normed spaces, including special forms of Levenberg–Marquardt algorithms. The developed methods use the local model based on a parameterized proximal mapping allowing us to use an inexact oracle of «black–box» form with restrictions for the computational precision and computational complexity. We perform an efficiency analysis including global and local convergence for the developed family of methods with an arbitrary oracle in terms of iteration complexity, precision and complexity of both local model and oracle, problem dimensionality. We present global sublinear convergence rates for methods of the proposed family for solving a system of nonlinear equations, consisting of Lipschitz smooth functions. We prove local superlinear convergence under extra natural non-degeneracy assumptions for system of nonlinear functions. We prove both local and global linear convergence for a system of nonlinear equations under Polyak–Lojasiewicz condition for proposed Gauss– Newton methods. Besides theoretical justifications of methods we also consider practical implementation issues. In particular, for conducted experiments we present effective computational schemes for the exact oracle regarding to the dimensionality of a problem. The proposed family of methods unites several existing and frequent in practice Gauss–Newton method modifications, allowing us to construct a flexible and convenient method implementable using standard convex optimization and computational linear algebra techniques.

Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

The paper is devoted to convex-concave saddle point problems where the objective is a sum of a large number of functions. Such problems attract considerable attention of the mathematical community due to the variety of applications in machine learning, including adversarial learning, adversarial attacks and robust reinforcement learning, to name a few. The individual functions in the sum usually represent losses related to examples from a data set. Additionally, the formulation admits a possibly nonsmooth composite term. Such terms often reflect regularization in machine learning problems. We assume that the dimension of one of the variable groups is relatively small (about a hundred or less), and the other one is large. This case arises, for example, when one considers the dual formulation for a minimization problem with a moderate number of constraints. The proposed approach is based on using Vaidya’s cutting plane method to minimize with respect to the outer block of variables. This optimization algorithm is especially effective when the dimension of the problem is not very large. An inexact oracle for Vaidya’s method is calculated via an approximate solution of the inner maximization problem, which is solved by the accelerated variance reduced algorithm Katyusha. Thus, we leverage the structure of the problem to achieve fast convergence. Separate complexity bounds for gradients of different components with respect to different variables are obtained in the study. The proposed approach is imposing very mild assumptions about the objective. In particular, neither strong convexity nor smoothness is required with respect to the low-dimensional variable group. The number of steps of the proposed algorithm as well as the arithmetic complexity of each step explicitly depend on the dimensionality of the outer variable, hence the assumption that it is relatively small.

В работе приведены различные модификации алгоритма Frank–Wolfe для задачи поиска равновесного распределения потоков. В качестве модели для экспериментов используется модель Бекмана. В этой статье в первую очередь уделяется внимание выбору направления базового шага алгоритма Frank–Wolfe (FW). Будут представлены алгоритмы: Conjugate Frank–Wolfe (CFW), Bi-conjugate Frank–Wolfe (BFW), Fukushima Frank–Wolfe (FFW). Каждой модификации соответствуют различные подходы к выбору этого направления. Некоторые из этих модификаций описаны в предыдущих работах авторов. В данной статье будут предложены алгоритмы N-conjugate Frank–Wolfe (NFW) и Weighted Fukushima Frank–Wolfe (WFFW). Эти алгоритмы являются некоторым идейным продолжением алгоритмов BFW и FFW. Таким образом, если первый алгоритм использовал на каждой итерации два последних направления предыдущих итераций для выбора следующего направления, сопряженного к ним, то предложенный алгоритм NFW использует $N$ предыдущих направлений. В случае же Fukushima Frank –Wolfe в качестве следующего направления берется среднее от нескольких предыдущих направлений. Соответственно этому алгоритму предложена модификация WFFW, использующая экспоненциальное сглаживание по предыдущим направлениям. Для сравнительного анализа были проведены эксперименты с различными модификациями на нескольких наборах данных, представляющих городские структуры и взятых из общедоступных источников. За метрику качества была взята величина относительного зазора. Результаты экспериментов показали преимущество алгоритмов, использующих предыдущие направления для выбора шага, перед классическим алгоритмом Frank–Wolfe. Кроме того, было выявлено улучшение эффективности при использовании более двух сопряженных направлений. Например, на многих датасетах модификация 3-conjugate FW сходилась наилучшим образом. Кроме того, предложенная модификация WFFW зачастую обгоняла FFW и CFW, хотя и проигрывала модификациям NFW.

The paper presents various modifications of the Frank–Wolfe algorithm in the equilibrium traffic assignment problem. The Beckman model is used as a model for experiments. In this article, first of all, attention is paid to the choice of the direction of the basic step of the Frank–Wolfe algorithm. Algorithms will be presented: Conjugate Frank–Wolfe (CFW), Bi-conjugate Frank–Wolfe (BFW), Fukushima Frank –Wolfe (FFW). Each modification corresponds to different approaches to the choice of this direction. Some of these modifications are described in previous works of the authors. In this article, following algorithms will be proposed: N-conjugate Frank–Wolfe (NFW), Weighted Fukushima Frank–Wolfe (WFFW). These algorithms are some ideological continuation of the BFW and FFW algorithms. Thus, if the first algorithm used at each iteration the last two directions of the previous iterations to select the next direction conjugate to them, then the proposed algorithm NFW is using more than $N$ previous directions. In the case of Fukushima Frank–Wolfe, the average of several previous directions is taken as the next direction. According to this algorithm, a modification WFFW is proposed, which uses a exponential smoothing from previous directions. For comparative analysis, experiments with various modifications were carried out on several data sets representing urban structures and taken from publicly available sources. The relative gap value was taken as the quality metric. The experimental results showed the advantage of algorithms using the previous directions for step selection over the classic Frank–Wolfe algorithm. In addition, an improvement in efficiency was revealed when using more than two conjugate directions. For example, on various datasets, the modification 3FW showed the best convergence. In addition, the proposed modification WFFW often overtook FFW and CFW, although performed worse than NFW.

В статье приводятся результаты моделирования деформации метеорита при попадании в плотные слои атмосферы разрывным методом Галёркина на неструктурированных треугольных сетках и методом сглаженных частиц. В качестве исходных данных брались материалы по Челябинскому метеориту. Проводилась серия расчётов, где варьировались характеристики материала метеорита и угол входа в плотные слои атмосферы.

The article contains results of modeling a meteor entering dense atmosphere layers using Galerkin’s method and smoother particle hydrodynamics. Numerical simulations were run using experimental data gathered for the Chelyabinsk meteor while varying the meteor material characteristics and its orientation when entering the atmosphere.

Исследуется влияние промысла на структурированную рыбную популяцию в случайным образом меняющихся условиях среды обитания. Параметры популяции соответствуют массовым видам пелагических рыб дальневосточных морей северо-западной части Тихого океана (минтай, сельдь, сардина). В различных частях Мирового океана обитают похожие виды рыб. В качестве основного признака принимается различие особей по размеру. Это легко измеряемая в промысловых условиях характеристика, она достаточно хорошо определяет основные свойства особей: возраст, половозрелость, другие морфологические и физиологические особенности. Флуктуации внешней среды оказывают существенное влияние на особей в ранних стадиях развития, во взрослом состоянии наблюдающиеся изменения во внешней среде слабо влияют на жизнедеятельность особей. Характеристики промысла выбираются оптимальными с точки зрения дохода от него. Основной управляющей характеристикой промысла являются промысловые усилия. Зависимость дохода от количества промысловых усилий выбрана квадратичной в части затрат от промысла, что соответствует экономическим представлениям о росте затрат при увеличении объемов производства. Модельное исследование показывает, что структура популяции обеспечивает повышенную стабильность популяции. В процессе роста особей и их выбывания из-за естественной смертности сглаживаются колебания плотности численности, возникающие из-за сильного влияния на особей флуктуаций среды обитания на ранних стадиях развития. Сглаживающую роль играет диффузионная составляющая процессов роста. В свою очередь, промысел обладает сглаживающим воздействием по отношению к изменениям (в том числе и стохастическим) среды обитания, существенно влияющим на обилие молоди и последующую динамику обилия популяции рыб. В сравнении с оптимальным переменным по интенсивности промыслом исследован постоянный по интенсивности режим промысла. При этом оказалось, что в динамичных условиях среды и стохастической динамике численности пополнения существует постоянное по времени промысловое усилие, по эффективности близкое к оптимальному переменному промыслу. Это означает, что постоянный или слабо меняющийся по количеству промысловых усилий промысел может оказаться весьма эффективным с точки зрения дохода.

We study the influence of fishery on a structured fish population under random changes of habitat conditions. The population parameters correspond to dominant pelagic fish species of Far-Eastern seas of the northwestern part of the Pacific Ocean (pollack, herring, sardine). Similar species inhabit various parts of the Word Ocean. The species body size distribution was chosen as a main population feature. This characteristic is easy to measure and adequately defines main specimen qualities such as age, maturity and other morphological and physiological peculiarities. Environmental fluctuations have a great influence on the individuals in early stages of development and have little influence on the vital activity of mature individuals. The fishery revenue was chosen as an optimality criterion. The main control characteristic is fishing effort. We have chosen quadratic dependence of fishing revenue on the fishing effort according to accepted economic ideas stating that the expenses grow with the production volume. The model study shows that the population structure ensures the increased population stability. The growth and drop out of the individuals’ due to natural mortality smoothens the oscillations of population density arising from the strong influence of the fluctuations of environment on young individuals. The smoothing part is played by diffusion component of the growth processes. The fishery in its turn smooths the fluctuations (including random fluctuations) of the environment and has a substantial impact upon the abundance of fry and the subsequent population dynamics. The optimal time-dependent fishing effort strategy was compared to stationary fishing effort strategy. It is shown that in the case of quickly changing habitat conditions and stochastic dynamics of population replenishment there exists a stationary fishing effort having approximately the same efficiency as an optimal time-dependent fishing effort. This means that a constant or weakly varying fishing effort can be very efficient strategy in terms of revenue.