Все выпуски

В работе развивается иерархический метод математического и компьютерного моделирования интервально-стохастических тепловых процессов в сложных электронных системах различного назначения. Разработанная концепция иерархического структурирования отражает как конструктивную иерархию сложной электронной системы, так и иерархию математических моделей процессов теплообмена. Тепловые процессы, учитывающие разнообразные физические явления в сложных электронных системах, описываются системами стохастических, нестационарных и нелинейных дифференциальных уравнений в частных производных, и в силу этого их компьютерное моделирование наталкивается на значительные вычислительные трудности даже с применением суперкомпьютеров. Иерархический метод позволяет избежать указанных трудностей. Иерархическая структура конструкции электронной системы в общем случае характеризуется пятью уровнями: 1 уровень — активные элементы ЭС (микросхемы, электро-, радиоэлементы); 2 уровень — электронный модуль; 3 уровень — панель, объединяющая множество электронных модулей; 4 уровень — блок панелей; 5 уровень — стойка, установленная в стационарном или подвижном помещении. Иерархия моделей и моделирования стохастических тепловых процессов строится в порядке, обратном иерархической структуре конструкции электронной системы, при этом моделирование интервально-стохастических тепловых процессов осуществляется посредством получения уравнений для статистических мер. Разработанный в статье иерархический метод позволяет учитывать принципиальные особенности тепловых процессов, такие как стохастический характер тепловых, электрических и конструктивных факторов при производстве, сборке и монтаже электронных систем, стохастический разброс условий функционирования и окружающей среды, нелинейные зависимости от температуры факторов теплообмена, нестационарный характер тепловых процессов. Полученные в статье уравнения для статистических мер стохастических тепловых процессов представляют собой систему 14-ти нестационарных нелинейных дифференциальных уравнений первого порядка в обыкновенных производных, решение которых легко реализуется на современных компьютерах существующими численными методами. Рассмотрены результаты применения метода при компьютерном моделировании стохастических тепловых процессов в электронной системе. Иерархический метод применяется на практике при тепловом проектировании реальных электронных систем и создании современных конкурентоспособных устройств.

A hierarchical method of mathematical and computer modeling of interval-stochastic thermal processes in complex electronic systems for various purposes is developed. The developed concept of hierarchical structuring reflects both the constructive hierarchy of a complex electronic system and the hierarchy of mathematical models of heat exchange processes. Thermal processes that take into account various physical phenomena in complex electronic systems are described by systems of stochastic, unsteady, and nonlinear partial differential equations and, therefore, their computer simulation encounters considerable computational difficulties even with the use of supercomputers. The hierarchical method avoids these difficulties. The hierarchical structure of the electronic system design, in general, is characterized by five levels: Level 1 — the active elements of the ES (microcircuits, electro-radio-elements); Level 2 — electronic module; Level 3 — a panel that combines a variety of electronic modules; Level 4 — a block of panels; Level 5 — stand installed in a stationary or mobile room. The hierarchy of models and modeling of stochastic thermal processes is constructed in the reverse order of the hierarchical structure of the electronic system design, while the modeling of interval-stochastic thermal processes is carried out by obtaining equations for statistical measures. The hierarchical method developed in the article allows to take into account the principal features of thermal processes, such as the stochastic nature of thermal, electrical and design factors in the production, assembly and installation of electronic systems, stochastic scatter of operating conditions and the environment, non-linear temperature dependencies of heat exchange factors, unsteady nature of thermal processes. The equations obtained in the article for statistical measures of stochastic thermal processes are a system of 14 non-stationary nonlinear differential equations of the first order in ordinary derivatives, whose solution is easily implemented on modern computers by existing numerical methods. The results of applying the method for computer simulation of stochastic thermal processes in electron systems are considered. The hierarchical method is applied in practice for the thermal design of real electronic systems and the creation of modern competitive devices.

Целью работы является исследование конечно-разностной схемы второго порядка точности, которая создана на основе Z-схемы. Это исследование состоит в численном решении нескольких двумерных дифференциальных уравнений, моделирующих перенос несжимаемой среды.

Одна из реальных задач, при решении которых возникают подобные уравнения, — это численное моделирование сильно нестационарных среднемасштабных процессов в земной ионосфере. Вследствие того, что процессы переноса в ионосферной плазме контролируются магнитным полем, в поперечном к магнитному полю направлении предполагается выполнение условия несжимаемости плазмы. По той же причине в продольном к магнитному полю направлении могут возникать достаточно высокие скорости тепло- и массопереноса.

Актуальной задачей при ионосферном моделировании является исследование плазменных неустойчивостей различных масштабов, которые возникают прежде всего в полярной и экваториальной областях. При этом среднемасштабные неоднородности, имеющие характерные размеры 1–50 км, создают условия для развития мелкомасштабных неустойчивостей. Последние приводят к явлению F-рассеяния, которое существенно влияет на точность работы спутниковых систем позиционирования, а также других космических и наземных радиоэлектронных систем.

Используемые для одновременного моделирования таких разномасштабных процессов разностные схемы должны иметь высокое разрешение. Кроме того, эти разностные схемы должны быть, с одной стороны, достаточно точными, а с другой стороны — монотонными. Причиной таких противоречивых требований является то, что неустойчивости усиливают погрешности разностных схем, особенно погрешности дисперсионного типа. Подобная раскачка погрешностей при численном решении обычно приводит к нефизическим результатам.

При численном решении трехмерных математических моделей ионосферной плазмы используется следующая схема расщепления по физическим процессам: первый шаг расщепления осуществляет продольный перенос, второй шаг расщепления осуществляет поперечный перенос. Исследуемая в работе конечно-разностная схема второго порядка точности приближенно решает уравнения поперечного пере- носа. Эта схема строится с помощью нелинейной процедуры монотонизации Z-схемы, которая является одной из схем второго порядка точности. При этой монотонизации используется нелинейная коррекция по так называемым «косым разностям». «Косые разности» содержат узлы расчетной сетки, относящиеся к разным слоям времени.

Исследования проводились для двух случаев. В первом случае компоненты вектора переноса были знакопостоянны, во втором — знакопеременны в области моделирования. Численно получены диссипативные и дисперсионные характеристики схемы для различных видов ограничивающих функций.

Результаты численных экспериментов позволяют сделать следующие выводы.

1. Для разрывного начального профиля лучшие свойства показал ограничитель SuperBee.

2. Для непрерывного начального профиля при больших пространственных шагах лучше ограничитель SuperBee, а при малых шагах лучше ограничитель Koren.

3. Для гладкого начального профиля лучшие результаты показал ограничитель Koren.

4. Гладкий ограничитель F показал результаты, аналогичные Koren.

5. Ограничители разного типа оставляют дисперсионные ошибки, при этом зависимости дисперсионных ошибок от параметров схемы имеют большую вариабельность и сложным образом зависят от параметров этой схемы.

6. Во всех расчетах численно подтверждена монотонность рассматриваемой разностной схемы. Для одномерного уравнения численно подтверждено свойство неувеличения вариации для всех указанных функций-ограничителей.

7. Построенная разностная схема при шагах по времени, не превышающих шаг Куранта, является монотонной и показывает хорошие характеристики точности для решений разных типов. При превышении шага Куранта схема остается устойчивой, но становится непригодной для задач неустойчивости, поскольку условия монотонности перестают в этом случае выполняться.

The purpose of the paper is a research of a 2nd order finite difference scheme based on the Z-scheme. This research is the numerical solution of several two-dimensional differential equations simulated the incompressible medium convection.

One of real tasks for similar equations solution is the numerical simulating of strongly non-stationary midscale processes in the Earth ionosphere. Because convection processes in ionospheric plasma are controlled by magnetic field, the plasma incompressibility condition is supposed across the magnetic field. For the same reason, there can be rather high velocities of heat and mass convection along the magnetic field.

Ionospheric simulation relevant task is the research of plasma instability of various scales which started in polar and equatorial regions first of all. At the same time the mid-scale irregularities having characteristic sizes 1–50 km create conditions for development of the small-scale instabilities. The last lead to the F-spread phenomenon which significantly influences the accuracy of positioning satellite systems work and also other space and ground-based radio-electronic systems.

The difference schemes used for simultaneous simulating of such multi-scale processes must to have high resolution. Besides, these difference schemes must to be high resolution on the one hand and monotonic on the other hand. The fact that instabilities strengthen errors of difference schemes, especially they strengthen errors of dispersion type is the reason of such contradictory requirements. The similar swing of errors usually results to nonphysical results at the numerical solution.

At the numerical solution of three-dimensional mathematical models of ionospheric plasma are used the following scheme of splitting on physical processes: the first step of splitting carries out convection along, the second step of splitting carries out convection across. The 2nd order finite difference scheme investigated in the paper solves approximately convection across equations. This scheme is constructed by a monotonized nonlinear procedure on base of the Z-scheme which is one of 2nd order schemes. At this monotonized procedure a nonlinear correction with so-called “oblique differences” is used. “Oblique differences” contain the grid nodes relating to different layers of time.

The researches were conducted for two cases. In the simulating field components of the convection vector had: 1) the constant sign; 2) the variable sign. Dissipative and dispersive characteristics of the scheme for different types of the limiting functions are in number received.

The results of the numerical experiments allow to draw the following conclusions.

1. For the discontinuous initial profile the best properties were shown by the SuperBee limiter.

2. For the continuous initial profile with the big spatial steps the SuperBee limiter is better, and at the small steps the Koren limiter is better.

3. For the smooth initial profile the best results were shown by the Koren limiter.

4. The smooth F limiter showed the results similar to Koren limiter.

5. Limiters of different type leave dispersive errors, at the same time dependences of dispersive errors on the scheme parameters have big variability and depend on the scheme parameters difficulty.

6. The monotony of the considered differential scheme is in number confirmed in all calculations. The property of variation non-increase for all specified functions limiters is in number confirmed for the onedimensional equation.

7. The constructed differential scheme at the steps on time which are not exceeding the Courant's step is monotonous and shows good exactness characteristics for different types solutions. At excess of the Courant's step the scheme remains steady, but becomes unsuitable for instability problems as monotony conditions not satisfied in this case.

В работе рассмотрена задача минимизации выпуклого и, вообще говоря, негладкого функционала $f$ при наличии липшицевого неположительного выпуклого негладкого функционального ограничения $g$. При этом обоснованы оценки скорости сходимости методов адаптивного зеркального спуска также и для случая квазивыпуклого целевого функционала в случае выпуклого функционального ограничения. Предложен также метод и для задачи минимизации квазивыпуклого целевого функционала с квазивыпуклым неположительным функционалом ограничения. В работе предложен специальный подход к выбору шагов и количества итераций в алгоритме зеркального спуска для рассматриваемого класса задач. В случае когда значения норм (суб)градиентов функциональных ограничений достаточно велики, предложенный подход к выбору шагов и остановке метода может ускорить работу метода по сравнению с его аналогами. В работе приведены численные эксперименты, демонстрирующие преимущества использования таких методов. Также показано, что методы применимы к целевым функционалам различных уровней гладкости. В частности, рассмотрен класс гёльдеровых целевых функционалов. На базе техники рестартов для рассмотренного варианта метода зеркального спуска был предложен оптимальный метод решения задач оптимизации с сильно выпуклыми целевыми функционалами. Получены оценки скорости сходимости рассмотренных алгоритмов для выделенных классов оптимизационных задач. Доказанные оценки демонстрируют оптимальность рассматриваемых методов с точки зрения теории нижних оракульных оценок.

The paper is devoted to the problem of minimization of the non-smooth functional $f$ with a non-positive non-smooth Lipschitz-continuous functional constraint. We consider the formulation of the problem in the case of quasi-convex functionals. We propose new strategies of step-sizes and adaptive stopping rules in Mirror Descent for the considered class of problems. It is shown that the methods are applicable to the objective functionals of various levels of smoothness. Applying a special restart technique to the considered version of Mirror Descent there was proposed an optimal method for optimization problems with strongly convex objective functionals. Estimates of the rate of convergence for the considered methods are obtained depending on the level of smoothness of the objective functional. These estimates indicate the optimality of the considered methods from the point of view of the theory of lower oracle bounds. In particular, the optimality of our approach for Höldercontinuous quasi-convex (sub)differentiable objective functionals is proved. In addition, the case of a quasiconvex objective functional and functional constraint was considered. In this paper, we consider the problem of minimizing a non-smooth functional $f$ in the presence of a Lipschitz-continuous non-positive non-smooth functional constraint $g$, and the problem statement in the cases of quasi-convex and strongly (quasi-)convex functionals is considered separately. The paper presents numerical experiments demonstrating the advantages of using the considered methods.

В данной работе рассматривается задача восстановления матрицы корреспонденций для наблюдений реальных корреспонденций в г. Москве. Следуя общепринятому подходу [Гасников и др., 2013], транспортная сеть рассматривается как ориентированный граф, дуги которого соответствуют участкам дороги, а вершины графа — районы, из которых выезжают / в которые въезжают участники движения. Число жителей города считается постоянным. Задача восстановления матрицы корреспонденций состоит в расчете всех корреспонденций израйона $i$ в район $j$.

Для восстановления матрицы предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийная модель. В работе, в соответствии с работой [Вильсон, 1978], приводится описание эволюционного обоснования энтропийной модели, описывается основная идея перехода к решению задачи энтропийно-линейного программирования (ЭЛП) при расчете матрицы корреспонденций. Для решения полученной задачи ЭЛП предлагается перейти к двойственной задаче и решать задачу относительно двойственных переменных. В работе описывается несколько численных методов оптимизации для решения данной задачи: алгоритм Синхорна и ускоренный алгоритм Синхорна. Далее приводятся численные эксперименты для следующих вариантов функций затрат: линейная функция затрат и сумма степенной и логарифмической функции затрат. В данных функциях затраты представляют из себя некоторую комбинацию среднего времени в пути и расстояния между районами, которая зависит от параметров. Для каждого набора параметров функции затрат рассчитывается матрица корреспонденций и далее оценивается качество восстановленной матрицы относительно известной матрицы корреспонденций. Мы предполагаем, что шум в восстановленной матрице корреспонденций является гауссовским, в результате в качестве метрики качества выступает среднеквадратичное отклонение. Данная задача представляет из себя задачу невыпуклой оптимизации. В статье приводится обзор безградиенных методов оптимизации для решения невыпуклых задач. Так как число параметров функции затрат небольшое, для определения оптимальных параметров функции затрат было выбрано использовать метод перебора по сетке значений. Таким образом, для каждого набора параметров рассчитывается матрица корреспонденций и далее оценивается качество восстановленной матрицы относительно известной матрицы корреспонденций. Далее по минимальному значению невязки для каждой функции затрат определяется, для какой функции затрат и при каких значениях параметров восстановленная матрица наилучшим образом описывает реальные корреспонденции.

In this paper, we consider the problem of restoring the correspondence matrix based on the observations of real correspondences in Moscow. Following the conventional approach [Gasnikov et al., 2013], the transport network is considered as a directed graph whose edges correspond to road sections and the graph vertices correspond to areas that the traffic participants leave or enter. The number of city residents is considered constant. The problem of restoring the correspondence matrix is to calculate all the correspondence from the $i$ area to the $j$ area.

To restore the matrix, we propose to use one of the most popular methods of calculating the correspondence matrix in urban studies — the entropy model. In our work, which is based on the work [Wilson, 1978], we describe the evolutionary justification of the entropy model and the main idea of the transition to solving the problem of entropy-linear programming (ELP) in calculating the correspondence matrix. To solve the ELP problem, it is proposed to pass to the dual problem. In this paper, we describe several numerical optimization methods for solving this problem: the Sinkhorn method and the Accelerated Sinkhorn method. We provide numerical experiments for the following variants of cost functions: a linear cost function and a superposition of the power and logarithmic cost functions. In these functions, the cost is a combination of average time and distance between areas, which depends on the parameters. The correspondence matrix is calculated for multiple sets of parameters and then we calculate the quality of the restored matrix relative to the known correspondence matrix.

We assume that the noise in the restored correspondence matrix is Gaussian, as a result, we use the standard deviation as a quality metric. The article provides an overview of gradient-free optimization methods for solving non-convex problems. Since the number of parameters of the cost function is small, we use the grid search method to find the optimal parameters of the cost function. Thus, the correspondence matrix calculated for each set of parameters and then the quality of the restored matrix is evaluated relative to the known correspondence matrix. Further, according to the minimum residual value for each cost function, we determine for which cost function and at what parameter values the restored matrix best describes real correspondence.

Большой класс задач описывает физические процессы, протекающие в невыпуклых областях, содержащих угол больший 180 градусов на границе. Решение в окрестности такого угла сингулярно, а его отыскание, при использовании классических подходов, влечет за собой потерю точности. В представленной работе рассмотрены стационарные, линеаризованные с помощью итераций Пикара несжимаемые уравнения Навье – Стокса течения вязкой жидкости в конвективной форме в $L$-образной области. Определено $R_\nu$-обобщенное решение задачи в специальных множествах весовых пространств. Для нахождения приближенного $R_\nu$-обобщенного решения построен специальный метод конечных элементов. Во-первых, пространства конечно-элементных функций удовлетворяют закону сохранения массы в сильном смысле, то есть в узлах сетки. Для этой цели используется Скотт – Вогелиус конечно-элементная пара. Выполнение закона сохранения массы ведет к отысканию более точного с физической точки зрения решения. Во-вторых, базисные функции конечномерных пространств дополнены весовыми функциями как множителями, которые совпадают с расстоянием от точки до вершины тупого угла в $\delta$-окрестности точки сингулярности и радиусом $\delta$ вне ее. Степень весовой функции, как и параметр $\nu$ в определении $R_\nu$-обобщенного решения, так и радиус $\delta$-окрестности точки сингулярности являются свободными параметрами метода. Специально подобранная их комбинация приводит к увеличению порядка сходимости приближенного решения к точному решению задачи почти в два раза по сравнению с классическими подходами и достигает единицы по шагу сетки в нормах весовых пространств Соболева. Таким образом, установлено, что скорость сходимости не зависит от величины угла.

An essential class of problems describes physical processes occurring in non-convex domains containing a corner greater than 180 degrees on the boundary. The solution in a neighborhood of a corner is singular and its finding using classical approaches entails a loss of accuracy. In the paper, we consider stationary, linearized by Picard’s iterations, Navier – Stokes equations governing the flow of a incompressible viscous fluid in the convection form in $L$-shaped domain. An $R_\nu$-generalized solution of the problem in special sets of weighted spaces is defined. A special finite element method to find an approximate $R_\nu$-generalized solution is constructed. Firstly, functions of the finite element spaces satisfy the law of conservation of mass in the strong sense, i.e. at the grid nodes. For this purpose, Scott – Vogelius element pair is used. The fulfillment of the condition of mass conservation leads to the finding more accurate, from a physical point of view, solution. Secondly, basis functions of the finite element spaces are supplemented by weight functions. The degree of the weight function, as well as the parameter $\nu$ in the definition of an $R_\nu$-generalized solution, and a radius of a neighborhood of the singularity point are free parameters of the method. A specially selected combination of them leads to an increase almost twice in the order of convergence rate of an approximate solution to the exact one in relation to the classical approaches. The convergence rate reaches the first order by the grid step in the norms of Sobolev weight spaces. Thus, numerically shown that the convergence rate does not depend on the corner value.

Предложен многомерный узловой метод характеристик, предназначенный для интегрирования гиперболических систем, базирующийся на расщеплении исходной системы уравнений на ряд одномерных подсистем, для расчета которых использован одномерный узловой метод характеристик. Приведены расчетные формулы, детально описана методика вычислений применительно к односкоростной модели гетерогенной среды при наличии сил гравитации. Представленный метод применим и к другим гиперболическим системам уравнений. С помощью этого явного, неконсервативного, первого порядка точности метода рассчитан ряд тестовых задач и показано, что в рамках предлагаемого подхода за счет привлечения дополнительных точек в шаблон схемы возможно проведение вычислений с числами Куранта, превышающими единицу. Так, в расчете обтекания трехмерной ступеньки потоком гетерогенной смеси число Куранта равнялось 1.2. В случае применения метода Годунова при решении этой же задачи макси- мальное число Куранта, при котором возможен устойчивый счет, имеет значение 0.13 × 10⁻². Еще одна особенность многомерного метода характеристик связана со слабой зависимостью временного шага от размерности задачи, что существенно расширяет возможности этого подхода. С использованием этого метода рассчитан ряд задач, которые ранее считались «тяжелыми» для таких численных методов, как методы Годунова, Куранта – Изаксона – Рис, что связано с тем, что в нем наиболее полно использованы преимущества характеристического представления интегрируемой системы уравнений.

Disclosed is a multidimensional nodal method of characteristics, designed to integrate hyperbolic systems, based on splitting the initial system of equations into a number of one-dimensional subsystems, for which a onedimensional nodal method of characteristics is used. Calculation formulas are given, the calculation method is described in detail in relation to a single-speed model of a heterogeneous medium in the presence of gravity forces. The presented method is applicable to other hyperbolic systems of equations. Using this explicit, nonconservative, first-order accuracy of the method, a number of test tasks are calculated and it is shown that in the framework of the proposed approach, by attracting additional points in the circuit template, it is possible to carry out calculations with Courant numbers exceeding one. So, in the calculation of the flow of the threedimensional step by the flow of a heterogeneous mixture, the Courant number was 1.2. If Godunov’s method is used to solve the same problem, the maximum number of Courant, at which a stable account is possible, is 0.13 × 10^-2. Another feature of the multidimensional method of characteristics is the weak dependence of the time step on the dimension of the problem, which significantly expands the possibilities of this approach. Using this method, a number of problems were calculated that were previously considered “heavy” for the numerical methods of Godunov, Courant – Isaacson – Rees, which is due to the fact that it most fully uses the advantages of the characteristic representation of the system of equations.

Мы рассматриваем модель спонтанного формирования вычислительной структуры в мозге человека для решения заданного класса задач в процессе выполнения серии однотипных заданий. Модель основана на специальном определении числовой меры сложности алгоритма решения. Эта мера обладает информационным свойством: сложность вычислительной структуры, состоящей из двух независимых структур, равна сумме сложностей этих структур. Тогда вероятность спонтанного возникновения структуры экспоненциально зависит от сложности структуры. Коэффициент при экспоненте требует экспериментального определения для каждого типа задач. Он может зависеть от формы предъявления исходных данных и от процедуры выдачи результата. Этот метод оценки применен к результатам серии экспериментов, в которых определялась стратегия решения человеком серии однотипных задач с растущим числом исходных данных. Эти эксперименты были описаны в ранее изданных работах. Рассматривались две основные стратегии: последовательное выполнение вычислительного алгоритма или использование параллельных вычислений в тех задачах, где это эффективно. Эти стратегии различаются схемами проведения вычислений. Используя оценку сложности схем, можно по эмпирической вероятности одной из стратегий рассчитать вероятность другой. Проведенные вычисления показали хорошее совпадение расчетной и эмпирической вероятности. Это подтверждает гипотезу о спонтанном формировании структур, решающих задачу, в процессе начальной тренировки человека. Работа содержит краткое описание экспериментов, подробные вычислительные схемы и строгое определение меры сложности вычислительных структур и вывод зависимости вероятности формирования структуры от ее сложности.

We consider a model of spontaneous formation of a computational structure in the human brain for solving a given class of tasks in the process of performing a series of similar tasks. The model is based on a special definition of a numerical measure of the complexity of the solution algorithm. This measure has an informational property: the complexity of a computational structure consisting of two independent structures is equal to the sum of the complexities of these structures. Then the probability of spontaneous occurrence of the structure depends exponentially on the complexity of the structure. The exponential coefficient requires experimental determination for each type of problem. It may depend on the form of presentation of the source data and the procedure for issuing the result. This estimation method was applied to the results of a series of experiments that determined the strategy for solving a series of similar problems with a growing number of initial data. These experiments were described in previously published papers. Two main strategies were considered: sequential execution of the computational algorithm, or the use of parallel computing in those tasks where it is effective. These strategies differ in how calculations are performed. Using an estimate of the complexity of schemes, you can use the empirical probability of one of the strategies to calculate the probability of the other. The calculations performed showed a good match between the calculated and empirical probabilities. This confirms the hypothesis about the spontaneous formation of structures that solve the problem during the initial training of a person. The paper contains a brief description of experiments, detailed computational schemes and a strict definition of the complexity measure of computational structures and the conclusion of the dependence of the probability of structure formation on its complexity.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

The article considers minimization of the expectation of convex function. Problems of this type often arise in machine learning and a variety of other applications. In practice, stochastic gradient descent (SGD) and similar procedures are usually used to solve such problems. We propose to use the ellipsoid method with mini-batching, which converges linearly and can be more efficient than SGD for a class of problems. This is verified by our experiments, which are publicly available. The algorithm does not require neither smoothness nor strong convexity of the objective to achieve linear convergence. Thus, its complexity does not depend on the conditional number of the problem. We prove that the method arrives at an approximate solution with given probability when using mini-batches of size proportional to the desired accuracy to the power −2. This enables efficient parallel execution of the algorithm, whereas possibilities for batch parallelization of SGD are rather limited. Despite fast convergence, ellipsoid method can result in a greater total number of calls to oracle than SGD, which works decently with small batches. Complexity is quadratic in dimension of the problem, hence the method is suitable for relatively small dimensionalities.

Нахождение глобального минимума невыпуклых функций — одна из ключевых и самых сложных проблем современной оптимизации. В этой работе мы рассматриваем отдельные классы невыпуклых задач, которые имеют четкий и выраженный глобальный минимум.

В первой части статьи мы рассматриваем два класса «хороших» невыпуклых функций, которые могут быть ограничены снизу и сверху параболической функцией. Такой класс задач не исследован широко в литературе, хотя является довольно интересным с прикладной точки зрения. Более того, для таких задач методы первого и более высоких порядков могут быть абсолютно неэффективны при поиске глобального минимума. Это связано с тем, что функция может сильно осциллировать или может быть сильно зашумлена. Поэтому наши новые методы используют информацию только нулевого порядка и основаны на поиске по сетке. Размер и мелкость этой сетки, а значит, и гарантии скорости сходимости и оракульной сложности зависят от «хорошести» задачи. В частности, мы показываем, если функция зажата довольно близкими параболическими функциями, то сложность не зависит от размерности задачи. Мы показываем, что наши новые методы сходятся с линейной скоростью сходимости $\log(1/\varepsilon)$ к глобальному минимуму на кубе.

Во второй части статьи мы рассматриваем задачу невыпуклой оптимизации с другого ракурса. Мы предполагаем, что целевая минимизируемая функция есть сумма выпуклой квадратичной задачи и невыпуклой «шумовой» функции, пропорциональной по модулю расстоянию до глобального решения. Рассмотрение функций с такими предположениями о шуме для методов нулевого порядка является новым в литературе. Для такой задачи мы используем классический безградиентный подход с аппроксимацией градиента через конечную разность. Мы показываем, как можно свести анализ сходимости для нашей задачи к стандартному анализу для задач выпуклой оптимизации. В частности, и для таких задач мы добиваемся линейной скорости сходимости.

Экспериментальные результаты подтверждают работоспособность и практическую применимость всех полученных методов.

Finding the global minimum of a nonconvex function is one of the key and most difficult problems of the modern optimization. In this paper we consider special classes of nonconvex problems which have a clear and distinct global minimum.

In the first part of the paper we consider two classes of «good» nonconvex functions, which can be bounded below and above by a parabolic function. This class of problems has not been widely studied in the literature, although it is rather interesting from an applied point of view. Moreover, for such problems first-order and higher-order methods may be completely ineffective in finding a global minimum. This is due to the fact that the function may oscillate heavily or may be very noisy. Therefore, our new methods use only zero-order information and are based on grid search. The size and fineness of this grid, and hence the guarantee of convergence speed and oracle complexity, depend on the «goodness» of the problem. In particular, we show that if the function is bounded by fairly close parabolic functions, then the complexity is independent of the dimension of the problem. We show that our new methods converge with a linear convergence rate $\log(1/\varepsilon)$ to a global minimum on the cube.

In the second part of the paper, we consider the nonconvex optimization problem from a different angle. We assume that the target minimizing function is the sum of the convex quadratic problem and a nonconvex «noise» function proportional to the distance to the global solution. Considering functions with such noise assumptions for zero-order methods is new in the literature. For such a problem, we use the classical gradient-free approach with gradient approximation through finite differences. We show how the convergence analysis for our problems can be reduced to the standard analysis for convex optimization problems. In particular, we achieve a linear convergence rate for such problems as well.

Experimental results confirm the efficiency and practical applicability of all the obtained methods.

В работе изучается многомерное уравнение конвекции-диффузии с переменными коэффициентами и неклассическим граничным условием. Рассмотрены два случая: в первом случае первое граничное условие содержит интеграл от неизвестной функции по переменной интегрирования $x_\alpha^{}$, а во втором случае — интеграл от неизвестной функции по переменной интегрирования $\tau$, обозначающий эффект памяти. Подобные задачи возникают при изучении переноса примеси вдоль русла рек. Для приближенного решения поставленной задачи предложена эффективная в плане экономичности, устойчивости и сходимости разностная схема — локально-одномерная разностная схема А.А. Самарского с порядком аппроксимации~$O(h^2+\tau)$. Ввиду того что уравнение содержит первую производную от неизвестной функции по пространственной переменной $x_\alpha^{}$, для повышения порядка точности локально-одномерной схемы используется известный метод, предложенный А.А. Самарским при построении монотонной схемы второго порядка точности по $h_\alpha^{}$ для уравнения параболического типа общего вида, содержащего односторонние производные, учитывающие знак $r_\alpha^{}(x,\,t)$. Для повышения до второго порядка точности по $h_\alpha^{}$ краевых условий третьего рода воспользовались уравнением в предположении, что оно справедливо и на границах. Исследование единственности и устойчивости решения проводилось с помощью метода энергетических неравенств. Получены априорные оценки решения разностной задачи в $L_2^{}$-норме, откуда следуют единственность решения, непрерывная и равномерная зависимость решения разностной задачи от входных данных, а также сходимость решения локально-одномерной разностной схемы к решению исходной дифференциальной задачи в $L_2^{}$-норме со скоростью, равной порядку аппроксимации разностной схемы. Для двумерной задачи построен алгоритм численного решения, проведены численные расчеты тестовых примеров, иллюстрирующие полученные в работе теоретические результаты.

The paper studies a multidimensional convection-diffusion equation with variable coefficients and a nonclassical boundary condition. Two cases are considered: in the first case, the first boundary condition contains the integral of the unknown function with respect to the integration variable $x_\alpha^{}$, and in the second case, the integral of the unknown function with respect to the integration variable $\tau$, denoting the memory effect. Similar problems arise when studying the transport of impurities along the riverbed. For an approximate solution of the problem posed, a locally one-dimensional difference scheme by A.A. Samarskii with order of approximation $O(h^2+\tau)$. In view of the fact that the equation contains the first derivative of the unknown function with respect to the spatial variable $x_\alpha^{}$, the wellknown method proposed by A.A. Samarskii in constructing a monotonic scheme of the second order of accuracy in $h_\alpha^{}$ for a general parabolic type equation containing one-sided derivatives taking into account the sign of $r_\alpha^{}(x,t)$. To increase the boundary conditions of the third kind to the second order of accuracy in $h_\alpha^{}$, we used the equation, on the assumption that it is also valid at the boundaries. The study of the uniqueness and stability of the solution was carried out using the method of energy inequalities. A priori estimates are obtained for the solution of the difference problem in the $L_2^{}$-norm, which implies the uniqueness of the solution, the continuous and uniform dependence of the solution of the difference problem on the input data, and the convergence of the solution of the locally onedimensional difference scheme to the solution of the original differential problem in the $L_2^{}$-norm with speed equal to the order of approximation of the difference scheme. For a two-dimensional problem, a numerical solution algorithm is constructed.