Все выпуски

Нахождение глобального минимума невыпуклых функций — одна из ключевых и самых сложных проблем современной оптимизации. В этой работе мы рассматриваем отдельные классы невыпуклых задач, которые имеют четкий и выраженный глобальный минимум.

В первой части статьи мы рассматриваем два класса «хороших» невыпуклых функций, которые могут быть ограничены снизу и сверху параболической функцией. Такой класс задач не исследован широко в литературе, хотя является довольно интересным с прикладной точки зрения. Более того, для таких задач методы первого и более высоких порядков могут быть абсолютно неэффективны при поиске глобального минимума. Это связано с тем, что функция может сильно осциллировать или может быть сильно зашумлена. Поэтому наши новые методы используют информацию только нулевого порядка и основаны на поиске по сетке. Размер и мелкость этой сетки, а значит, и гарантии скорости сходимости и оракульной сложности зависят от «хорошести» задачи. В частности, мы показываем, если функция зажата довольно близкими параболическими функциями, то сложность не зависит от размерности задачи. Мы показываем, что наши новые методы сходятся с линейной скоростью сходимости $\log(1/\varepsilon)$ к глобальному минимуму на кубе.

Во второй части статьи мы рассматриваем задачу невыпуклой оптимизации с другого ракурса. Мы предполагаем, что целевая минимизируемая функция есть сумма выпуклой квадратичной задачи и невыпуклой «шумовой» функции, пропорциональной по модулю расстоянию до глобального решения. Рассмотрение функций с такими предположениями о шуме для методов нулевого порядка является новым в литературе. Для такой задачи мы используем классический безградиентный подход с аппроксимацией градиента через конечную разность. Мы показываем, как можно свести анализ сходимости для нашей задачи к стандартному анализу для задач выпуклой оптимизации. В частности, и для таких задач мы добиваемся линейной скорости сходимости.

Экспериментальные результаты подтверждают работоспособность и практическую применимость всех полученных методов.

Finding the global minimum of a nonconvex function is one of the key and most difficult problems of the modern optimization. In this paper we consider special classes of nonconvex problems which have a clear and distinct global minimum.

In the first part of the paper we consider two classes of «good» nonconvex functions, which can be bounded below and above by a parabolic function. This class of problems has not been widely studied in the literature, although it is rather interesting from an applied point of view. Moreover, for such problems first-order and higher-order methods may be completely ineffective in finding a global minimum. This is due to the fact that the function may oscillate heavily or may be very noisy. Therefore, our new methods use only zero-order information and are based on grid search. The size and fineness of this grid, and hence the guarantee of convergence speed and oracle complexity, depend on the «goodness» of the problem. In particular, we show that if the function is bounded by fairly close parabolic functions, then the complexity is independent of the dimension of the problem. We show that our new methods converge with a linear convergence rate $\log(1/\varepsilon)$ to a global minimum on the cube.

In the second part of the paper, we consider the nonconvex optimization problem from a different angle. We assume that the target minimizing function is the sum of the convex quadratic problem and a nonconvex «noise» function proportional to the distance to the global solution. Considering functions with such noise assumptions for zero-order methods is new in the literature. For such a problem, we use the classical gradient-free approach with gradient approximation through finite differences. We show how the convergence analysis for our problems can be reduced to the standard analysis for convex optimization problems. In particular, we achieve a linear convergence rate for such problems as well.

Experimental results confirm the efficiency and practical applicability of all the obtained methods.

Важную роль при построении математических моделей динамических систем играют обратные задачи, к которым, в частности, относится задача параметрической идентификации. В отличие от классических моделей, оперирующих точечными значениями, интервальные модели дают ограничения сверху и снизу на исследуемые величины. В работе рассматривается интерполяционный подход к решению интервальных задач параметрической идентификации динамических систем для случая, когда экспериментальные данные представлены внешними интервальными оценками. Цель предлагаемого подхода заключается в нахождении такой интервальной оценки параметров модели, при которой внешняя интервальная оценка решения прямой задачи моделирования содержала бы экспериментальные данные или минимизировала бы отклонение от них. В основе подхода лежит алгоритм адаптивной интерполяции для моделирования динамических систем с интервальными неопределенностями, позволяющий в явном виде получать зависимость фазовых переменных от параметров системы. Сформулирована задача минимизации расстояния между экспериментальными данными и модельным решением в пространстве границ интервальных оценок параметров модели. Получено выражение для градиента целевой функции. На репрезентативном наборе задач продемонстрированы эффективность и работоспособность предлагаемого подхода.

An important role in the construction of mathematical models of dynamic systems is played by inverse problems, which in particular include the problem of parametric identification. Unlike classical models that operate with point values, interval models give upper and lower boundaries on the quantities under study. The paper considers an interpolation approach to solving interval problems of parametric identification of dynamic systems for the case when experimental data are represented by external interval estimates. The purpose of the proposed approach is to find such an interval estimate of the model parameters, in which the external interval estimate of the solution of the direct modeling problem would contain experimental data or minimize the deviation from them. The approach is based on the adaptive interpolation algorithm for modeling dynamic systems with interval uncertainties, which makes it possible to explicitly obtain the dependence of phase variables on system parameters. The task of minimizing the distance between the experimental data and the model solution in the space of interval boundaries of the model parameters is formulated. An expression for the gradient of the objectivet function is obtained. On a representative set of tasks, the effectiveness of the proposed approach is demonstrated.

В работе предлагается подход, позволяющий организовать оперативный контроль за интенсивностью действия источника выбросов в атмосферу. Восстановление неизвестной интенсивности источника загрязнения атмосферы производится по измерениям концентрации примеси в отдельных стационарных точках. Для решения обратной задачи использовались методы шаговой регуляризации и последовательной функциональной аппроксимации. Решение представлено в форме цифрового фильтра в смысле Хэмминга. Описан алгоритм выбора регуляризирующего параметра r для метода функциональной аппроксимации. Работа продолжает исследования, представленные в [1,2].

The approach given in this work helps to organize the operative control over action intensity of pollution emissions in atmosphere. The approach allows to sequential estimate of unknown intensity of atmospheric pollution source on the base of concentration measurements of impurity in several stationary control points is offered in the work. The inverse problem was solved by means of the step-by-step regularization and the sequential function specification method. The solution is presented in the form of the digital filter in terms of Hamming. The fitting algorithm of regularization parameter r for function specification method is described.

В данной работе приводится обобщение подхода к построению инвариантных векторов признаков изображений в задачах распознавания образов. Базовым элементом предлагаемого алгоритма является замена обычно применяемого гауссова фильтра исходного изображения сверткой функции изображения с функцией Грина эволюционного оператора, наследующей свойства симметрий этого оператора. Применение обобщенной фильтрации позволяет выделять дополнительные характеристики инвариантных векторов признаков.

In our work we present generalization of well-known approach for construction of invariant feature vectors of images in computer vision applications. Basic feature of the suggested algorithm is replacement of commonly used Gaussian filter by convolution of image function with Green’s function of evolution operator, which inherits symmetries of this operator. The use of general filtration allows to obtain additional characteristics of invariant feature vectors.

Разработан и протестирован новый метод формирования тестовых сигналов для корреляционной идентификации нелинейных динамических систем методом Ли–Шетцена. Для коррекции моментных функций тестовых сигналов применен численный алгоритм оптимизации Гаусса–Ньютона. В экспериментах получены тестовые воздействия длиной до 40 000 точек, позволяющие определять ядра Винера 2-го порядка с линейным разрешением до 32 точек, ядра Винера 3-го порядка с линейным разрешением до 12 точек, ядра Винера 4-го порядка с линейным разрешением до 8 точек.

Тhe new test-signals forming method for correlation identification of a nonlinear system based on Lee–Shetzen cross-correlation approach is developed and tested. Numerical Gauss–Newton algorithm is applied to correct autocorrelation functions of test signals. The achieved test-signals have length less than 40 000 points and allow to measure the 2nd order Wiener kernels with a linear resolution up to 32 points, the 3rd order Wiener kernels with a linear resolution up to 12 points and the 4th order Wiener kernels with a linear resolution up to 8 points.

Дискретно-элементная модель, основанная на представлении ударника и преграды совокупностью плотно упакованных частиц, применена к задаче внедрения металлических шаров в массивные преграды. Для описания взаимодействия между частицами использовался двухпараметрический потенциал Леннарда–Джонса. Компьютерная реализация модели осуществлена с использованием распараллеливания вычислений на графических процессорах, что позволило добиться высокого пространственно-временного разрешения. На основе сравнения результатов компьютерного моделирования с экспериментальными данными идентифицирована зависимость энергии межчастичной связи от динамической твердости материалов. Показано, что использование данного подхода позволяет достаточно точно описать процесс внедрения ударника в преграду в диапазоне скоростей взаимодействия 500–2500 м/c.

А discrete element model is applied to the problem of a spherical projectile penetration into a massive obstacle. According to the model both indenter and obstacle are described by a set of densely packed particles. To model the interaction between the particles the two-parameter Lennard–Jones potential is used. Computer implementation of the model has been carried out using parallelism on GPUs, which resulted in high spatial — temporal resolution. Based on the comparison of the results of numerical simulation with experimental data the binding energy has been identified as a function of the dynamic hardness of materials. It is shown that the use of this approach allows to accurately describe the penetration process in the range of projectile velocities 500–2500 m/c.

Рассмотрены ньютоновские и квазиньютоновские методы безусловной оптимизации, основанные на факторизации Холесского, с регулировкой шага и с конечно-разностной аппроксимацией первых и вторых производных. Для увеличения эффективности квазиньютоновских методов предложено модифицированное разложение Холесского квазиньютоновской матрицы, определяющее и решение проблемы масштабирования шагов при спуске, и аппроксимацию неквадратичными функциями, и интеграцию с методом доверительной окрестности. Предложен подход к увеличению эффективности ньютоновских методов с конечно-разностной аппроксимацией первых и вторых производных. Приведены результаты численного исследования эффективности алгоритмов.

Newton and quasi-Newton methods of absolute optimization based on Cholesky factorization with adaptive step and finite difference approximation of the first and the second derivatives. In order to raise effectiveness of the quasi-Newton methods a modified version of Cholesky decomposition of quasi-Newton matrix is suggested. It solves the problem of step scaling while descending, allows approximation by non-quadratic functions, and integration with confidential neighborhood method. An approach to raise Newton methods effectiveness with finite difference approximation of the first and second derivatives is offered. The results of numerical research of algorithm effectiveness are shown.

Работа посвящена проблеме анализа близости популяционной системы к опасным границам, при пересечении которых в системе разрушается устойчивое сосуществование взаимодействующих популяций. В качестве причины такого разрушения рассматриваются случайные возмущения, неизбежно присутствующие в любой живой системе. Это исследование проводится на примере известной модели взаимодействия популяций хищника и жертвы, учитывающей как стабилизирующий фактор конкуренции хищника за отличные от жертвы ресурсы, так и дестабилизирующий фактор насыщения хищника. Для описания насыщения хищника используется трофическая функция Холлинга второго типа. Динамика системы исследуется в зависимости от коэффициента, характеризующего насыщение хищника, и коэффициента конкуренции хищника за отличные от жертвы ресурсы. В работе дается параметрическое описание возможных режимов динамики детерминированной модели, исследуются локальные и глобальные бифуркации и выделяются зоны устойчивого сосуществования популяций в равновесном и осцилляционном режимах. Интересной математической особенностью данной модели, впервые рассмотренной Базыкиным, является глобальная бифуркация рождения цикла из петли сепаратрисы. В работе исследуется воздействие шума на равновесный и осцилляционный режимы сосуществования популяций хищника и жертвы. Показано, что увеличение интенсивности случайных возмущений может привести к значительным деформациям этих режимов вплоть до их разрушения. Целью данной работы является разработка конструктивного вероятностного критерия близости этой стохастической системы к опасным границам. Основой предлагаемого математического подхода является техника функций стохастической чувствительности и метод доверительных областей — доверительных эллипсов, окружающих устойчивое равновесие, и доверительных полос вокруг устойчивого цикла. Размеры доверительных областей пропорциональны интенсивности шума и стохастической чувствительности исходных детерминированных аттракторов. Геометрическим критерием выхода популяционной системы из режима устойчивого сосуществования является пересечение доверительных областей и соответствующих сепаратрис детерминированной модели. Эффективность данного аналитического подхода подтверждается хорошим соответствием теоретических оценок и результатов прямого численного моделирования.

The paper is devoted to the analysis of the proximity of the population system to dangerous boundaries. An intersection of these boundaries results in the collapse of the stable coexistence of interacting populations. As a reason of such destruction one can consider random perturbations inevitably presented in any living system. This study is carried out on the example of the well-known model of interaction between predator and prey populations, taking into account both a stabilizing factor of the competition of predators for another than prey resources, and also a destabilizing saturation factor for predators. To describe the saturation of predators, we use the second type Holling trophic function. The dynamics of the system is studied as a function of the predator saturation, and the coefficient of predator competition for resources other than prey. The paper presents a parametric description of the possible dynamic regimes of the deterministic model. Here, local and global bifurcations are studied, and areas of sustainable coexistence of populations in equilibrium and the oscillation modes are described. An interesting feature of this mathematical model, firstly considered by Bazykin, is a global bifurcation of the birth of limit cycle from the separatrix loop. We study the effects of noise on the equilibrium and oscillatory regimes of coexistence of predator and prey populations. It is shown that an increase of the intensity of random disturbances can lead to significant deformations of these regimes right up to their destruction. The aim of this work is to develop a constructive probabilistic criterion for the proximity of the population stochastic system to the dangerous boundaries. The proposed approach is based on the mathematical technique of stochastic sensitivity functions, and the method of confidence domains. In the case of a stable equilibrium, this confidence domain is an ellipse. For the stable cycle, this domain is a confidence band. The size of the confidence domain is proportional to the intensity of the noise and stochastic sensitivity of the initial deterministic attractor. A geometric criterion of the exit of the population system from sustainable coexistence mode is the intersection of the confidence domain and the corresponding separatrix of the unforced deterministic model. An effectiveness of this analytical approach is confirmed by the good agreement of theoretical estimates and results of direct numerical simulations.

В настоящей статье изложен научный подход Дмитрия Сергеевича Чернавского к вопросам моделирования экономических процессов. Излагается история работы Дмитрия Сергеевича на экономическом направлении, представлены ее основные этапы и достижения. Одним из важнейших достижений в области экономического анализа стало предсказание группой ученых, возглавляемых Д. С. Чернавским, основных кризисов, произошедших в нашей стране за последние 20 лет, а именно дефолта 1998 года, кризиса промышленного производства второй половины 2000-х, кризиса 2008 года и последовавшей за ним рецессии. В качестве примера динамического анализа мировых макроэкономических процессов приведена модель функционирования доллара в качестве мировой валюты. На данном конкретном примере показана возможность сеньёража за счет эмиссии доллара и рассчитано «окно возможностей», которое позволяет эмитировать доллары в качестве мировой валюты без ущерба для собственной экономики.

Как пример динамического анализа экономики отдельного государства рассматривается модель развития закрытого общества (без внешних экономических связей) в однопродуктовом приближении. Модель основана на принципах рыночной экономики, то есть динамика цены определяется балансом спроса и предложения. Показано, что в общем случае состояние рыночного равновесия не единственно. Возможно несколько стационарных состояний, отличающихся уровнем производства и потребления. Рассмотрен эффект адресной денежной эмиссии в низкопродуктивном состоянии. Показано, что в зависимости от ее размера и адреса она может привести к переходу в высокопродуктивное состояние и просто вызвать инфляцию без перехода. Обсуждается связь этих результатов с кейнсианским и монетаристским подходами.

The present article sets out the scientific approach of Dmitry Sergeevich Chernavskii to the modelling of economic processes. It recounts the history of works of Dmitry Sergeyevich on the economic front, its milestones and achievements. One of the most important advances in the economic analysis was the prediction by a team of scientists headed by D. S. Chernavskii, the major crises that have occurred in our country over the last 20 years, namely, the default of 1998, the crisis of industrial production in the second half of the 2000s, the 2008 crisis and the ensuing recession. As an example, the dynamic analysis of the global macroeconomic processes shows the model of functioning of the dollar as the world currency. On this particular example shows the possibility of seigniorage due to the issue of the dollar and the calculated “window of opportunity” that allows you to issue dollars as the global currency, without prejudice to its own economy.

A model for the development of a closed society (without external economic relations) in the one-product approach is considered as an example of dynamic analysis of the economy of a separate state. The model is based on the principles of market economy, i.e. the dynamics of prices is determined by the balance of supply and demand. It is shown that in the general case, the state of market equilibrium is not unique. Several steady states with different levels of production and consumption are possible. Effect of addressed emission of money in underproductive state is considered. It is shown that, depending on its size it can lead to the transition to a highly productive condition, and just cause inflation without transition. The relationship of these results with the “Keynesian” and “monetarist” approaches is discussed.

Современные методы комплексного планирования выполнения пакетов заданий в многостадийных системах характеризуются наличием ограничений на размерность решаемой задачи, невозможностью гарантированного получения эффективных решений при различных значениях ее входных параметров, а также невозможностью учета условия формирования комплектов из результатов и ограничения на длительности интервалов времени функционирования системы. Для решения задачи планирования выполнения пакетов заданий при формировании комплектов результатов и ограничении на длительности интервалов времени функционирования системы реализована декомпозиция обобщенной функции системы на совокупность иерархически взаимосвязанных подфункций. Применение декомпозиции позволило использовать иерархический подход для планирования выполнения пакетов заданий в многостадийных системах, предусматривающий определение решений по составам пакетов заданий на первом уровне иерархии, решений по составам групп пакетов заданий, выполняемых в течение временных интервалов ограниченной длительности, на втором уровне и расписаний выполнения пакетов на третьем уровне иерархии. С целью оценки оптимальности решений по составам пакетов результаты их выполнения, полученные в течение заданных временных интервалов, распределяются по комплектам. Для определения комплексных решений применен аппарат теории иерархических игр. Построена модель иерархической игры для принятия решений по составам пакетов, групп пакетов и расписаниям выполнения пакетов, представляющая собой систему иерархически взаимосвязанных критериев оптимизации решений. В модели учтены условие формирования комплектов из результатов выполнения пакетов заданий и ограничение на длительность интервалов времени ее функционирования. Задача определения составов пакетов заданий и групп пакетов заданий является NP-трудной, поэтому для ее решения требуется применение приближенных методов оптимизации. С целью оптимизации групп пакетов заданий реализовано построение метода формирования начальных решений по их составам, которые в дальнейшем оптимизируются. Также сформулирован алгоритм распределения по комплектам результатов выполнения пакетов заданий, полученных в течение временных интервалов ограниченной длительности. Предложен метод локальной оптимизации решений по составам групп пакетов, в соответствии с которым из групп исключаются пакеты, результаты выполнения которых не входят в комплекты, и добавляются пакеты, не включенные ни в одну из групп. Выполнена программная реализация рассмотренного метода комплексной оптимизации составов пакетов заданий, групп пакетов заданий и расписаний выполнения пакетов заданий из групп (в том числе реализация метода оптимизации составов групп пакетов заданий). С ее использованием проведены исследования особенностей рассматриваемой задачи планирования. Сформулированы выводы, касающиеся зависимости эффективности планирования выполнения пакетов заданий в многостадийных системах при введенных условиях от входных параметров задачи. Использование метода локальной оптимизации составов групп пакетов заданий позволяет в среднем на 60% увеличить количество формируемых комплектов из результатов выполнения заданий в пакетах из групп по сравнению с фиксированными группами (не предполагающими оптимизацию).

Modern methods of complex planning the execution of task packages in multistage systems are characterized by the presence of restrictions on the dimension of the problem being solved, the impossibility of guaranteed obtaining effective solutions for various values of its input parameters, as well as the impossibility of registration the conditions for the formation of sets from the result and the restriction on the interval duration of time of the system operating. The decomposition of the generalized function of the system into a set of hierarchically interconnected subfunctions is implemented to solve the problem of scheduling the execution of task packages with generating sets of results and the restriction on the interval duration of time for the functioning of the system. The use of decomposition made it possible to employ the hierarchical approach for planning the execution of task packages in multistage systems, which provides the determination of decisions by the composition of task groups at the first level of the hierarchy decisions by the composition of task packages groups executed during time intervals of limited duration at the second level and schedules for executing packages at the third level the hierarchy. In order to evaluate decisions on the composition of packages, the results of their execution, obtained during the specified time intervals, are distributed among the packages. The apparatus of the theory of hierarchical games is used to determine complex solutions. A model of a hierarchical game for making decisions by the compositions of packages, groups of packages and schedules of executing packages is built, which is a system of hierarchically interconnected criteria for optimizing decisions. The model registers the condition for the formation of sets from the results of the execution of task packages and restriction on duration of time intervals of its operating. The problem of determining the compositions of task packages and groups of task packages is NP-hard; therefore, its solution requires the use of approximate optimization methods. In order to optimize groups of task packages, the construction of a method for formulating initial solutions by their compositions has been implemented, which are further optimized. Moreover, a algorithm for distributing the results of executing task packages obtained during time intervals of limited duration by sets is formulated. The method of local solutions optimization by composition of packages groups, in accordance with which packages are excluded from groups, the results of which are not included in sets, and packages, that aren’t included in any group, is proposed. The software implementation of the considered method of complex optimization of the compositions of task packages, groups of task packages, and schedules for executing task packages from groups (including the implementation of the method for optimizing the compositions of groups of task packages) has been performed. With its use, studies of the features of the considered planning task are carried out. Conclusion are formulated concerning the dependence of the efficiency of scheduling the execution of task packages in multistage system under the introduced conditions from the input parameters of the problem. The use of the method of local optimization of the compositions of groups of task packages allows to increase the number of formed sets from the results of task execution in packages from groups by 60% in comparison with fixed groups (which do not imply optimization).