Все выпуски

Мультипликативные методы для разреженных матриц являются наиболее приспособленными для снижения трудоемкости операций решения систем линейных уравнений, выполняемых на каждой итерации симплекс-метода. Матрицы ограничений в этих задачах слабо заполнены ненулевыми элементами, что позволяет получать мультипликаторы, главные столбцы которых также разрежены, а операция умножения вектора на мультипликатор по трудоемкости пропорциональна числу ненулевых элементов этого мультипликатора. Кроме того, при переходе к смежному базису мультипликативное представление достаточно легко корректируется. Для повышения эффективности таких методов требуется уменьшение заполненности мультипликативного представления ненулевыми элементами. Однако на каждой итерации алгоритма к последовательности мультипликаторов добавляется еще один. А трудоемкость умножения, которая линейно зависит от длины последовательности, растет. Поэтому требуется выполнять время от времени перевычисление обратной матрицы, получая ее из единичной. Однако в целом проблема не решается. Кроме того, набор мультипликаторов представляет собой последовательность структур, причем размер этой последовательности неудобно велик и точно неизвестен. Мультипликативные методы не учитывают фактора высокой степени разреженности исходных матриц и ограничения-равенства, требуют определения первоначального базисного допустимого решения задачи и, как следствие, не допускают сокращения размерности задачи линейного программирования и регулярной процедуры сжатия — уменьшения размерности мультипликаторов и исключения ненулевых элементов из всех главных столбцов мультипликаторов, полученных на предыдущих итерациях. Таким образом, разработка численных методов решения задач линейного программирования, позволяющих преодолеть или существенно ослабить недостатки схем реализации симплекс-метода, относится к актуальным проблемам вычислительной математики.

В данной работе рассмотрен подход к построению численно устойчивых прямых мультипликативных методов решения задач линейного программирования, учитывающих разреженность матриц, представленных в упакованном виде. Преимущество подхода состоит в уменьшении размерности и минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных.

В качестве прямого продолжения данной работы в основу построения прямого мультипликативного алгоритма задания направления спуска в ньютоновских методах безусловной оптимизации предлагается положить модификацию прямого мультипликативного метода линейного программирования путем интеграции одной из существующих техник построения существенно положительно-определенной матрицы вторых производных.

Multiplicative methods for sparse matrices are best suited to reduce the complexity of operations solving systems of linear equations performed on each iteration of the simplex method. The matrix of constraints in these problems of sparsely populated nonzero elements, which allows to obtain the multipliers, the main columns which are also sparse, and the operation of multiplication of a vector by a multiplier according to the complexity proportional to the number of nonzero elements of this multiplier. In addition, the transition to the adjacent basis multiplier representation quite easily corrected. To improve the efficiency of such methods requires a decrease in occupancy multiplicative representation of the nonzero elements. However, at each iteration of the algorithm to the sequence of multipliers added another. As the complexity of multiplication grows and linearly depends on the length of the sequence. So you want to run from time to time the recalculation of inverse matrix, getting it from the unit. Overall, however, the problem is not solved. In addition, the set of multipliers is a sequence of structures, and the size of this sequence is inconvenient is large and not precisely known. Multiplicative methods do not take into account the factors of the high degree of sparseness of the original matrices and constraints of equality, require the determination of initial basic feasible solution of the problem and, consequently, do not allow to reduce the dimensionality of a linear programming problem and the regular procedure of compression — dimensionality reduction of multipliers and exceptions of the nonzero elements from all the main columns of multipliers obtained in previous iterations. Thus, the development of numerical methods for the solution of linear programming problems, which allows to overcome or substantially reduce the shortcomings of the schemes implementation of the simplex method, refers to the current problems of computational mathematics.

In this paper, the approach to the construction of numerically stable direct multiplier methods for solving problems in linear programming, taking into account sparseness of matrices, presented in packaged form. The advantage of the approach is to reduce dimensionality and minimize filling of the main rows of multipliers without compromising accuracy of the results and changes in the position of the next processed row of the matrix are made that allows you to use static data storage formats.

As a direct continuation of this work is the basis for constructing a direct multiplicative algorithm set the direction of descent in the Newton methods for unconstrained optimization is proposed to put a modification of the direct multiplier method, linear programming by integrating one of the existing design techniques significantly positive definite matrix of the second derivatives.

Работа посвящена теоретическому обоснованию неявного итерационного полинейного рекуррентного метода решения систем разностных уравнений, которые возникают при аппроксимации двумерных эллиптических дифференциальных уравнений на регулярной сетке. Высокая эффективность этого метода практически подтверждена при решении сложных тестовых задач, а также задач течения и теплообмена вязкой несжимаемой жидкости. Однако теоретические положения, объясняющие высокую скорость сходимости и устойчивость метода, до сих пор оставались за кадром внимания, что и послужило причиной проведения настоящего исследования. В работе подробно излагается процедура эквивалентных и приближенных преобразований исходной системы линейных алгебраических уравнений (СЛАУ) как в матрично-векторной форме, так и виде расчетных формул метода. При этом для наглядности изложения материала ключевые моменты преобразований иллюстрируются схемами изменения разностных шаблонов, отвечающих преобразованным уравнениям. Конечная цель процедуры преобразований — получение канонической формы записи метода, из которого следует его корректность в случае сходимости решения. На основе анализа структур и элементных составов матричных операторов проводится оценка их норм и, соответственно, доказывается сходимость метода для произвольных начальных векторов.

В специальном случае слабых ограничений на искомое решение производится оценка нормы оператора перехода. Показывается, что с ростом размерности матрицы этого оператора величина его нормы уменьшается пропорционально квадрату (или кубу, в зависимости от версии метода) шага сеточного разбиения области решения задачи. С помощью простых оценок получено необходимое условие устойчивости метода. Также даются рекомендации относительно выбора по порядку величины оптимального итерационного параметра компенсации. Теоретические выводы проиллюстрированы результатами решения тестовых задач. Показано, что при увеличении размерности сеточного разбиения области решения количество итераций, необходимых для достижения заданной точности решения, при прочих равных условиях уменьшается. Также продемонстрировано, что если слабые ограничения на решение нарушены при выборе его начального приближения, то в полном соответствии с полученными теоретическими результатами скорость сходимости метода существенно уменьшается.

In the article a theory of the implicit iterative line-by-line recurrence method for solving the systems of finite-difference equations which arise as a result of approximation of the two-dimensional elliptic differential equations on a regular grid is stated. On the one hand, the high effectiveness of the method has confirmed in practice. Some complex test problems, as well as several problems of fluid flow and heat transfer of a viscous incompressible liquid, have solved with its use. On the other hand, the theoretical provisions that explain the high convergence rate of the method and its stability are not yet presented in the literature. This fact is the reason for the present investigation. In the paper, the procedure of equivalent and approximate transformations of the initial system of linear algebraic equations (SLAE) is described in detail. The transformations are presented in a matrix-vector form, as well as in the form of the computational formulas of the method. The key points of the transformations are illustrated by schemes of changing of the difference stencils that correspond to the transformed equations. The canonical form of the method is the goal of the transformation procedure. The correctness of the method follows from the canonical form in the case of the solution convergence. The estimation of norms of the matrix operators is carried out on the basis of analysis of structures and element sets of the corresponding matrices. As a result, the convergence of the method is proved for arbitrary initial vectors of the solution of the problem.

The norm of the transition matrix operator is estimated in the special case of weak restrictions on a desired solution. It is shown, that the value of this norm decreases proportionally to the second power (or third degree, it depends on the version of the method) of the grid step of the problem solution area in the case of transition matrix order increases. The necessary condition of the method stability is obtained by means of simple estimates of the vector of an approximate solution. Also, the estimate in order of magnitude of the optimum iterative compensation parameter is given. Theoretical conclusions are illustrated by using the solutions of the test problems. It is shown, that the number of the iterations required to achieve a given accuracy of the solution decreases if a grid size of the solution area increases. It is also demonstrated that if the weak restrictions on solution are violated in the choice of the initial approximation of the solution, then the rate of convergence of the method decreases essentially in full accordance with the deduced theoretical results.

Работа принадлежит направлению экспериментальной математики, исследующей свойства математических объектов вычислительными средствами компьютера. Базовым отображением служит экспоненциальное, топологические свойства (букеты Кантора) которого отличаются от свойств полиномиальных и рациональных функций на комплексной плоскости. Предметом исследования являются характер и особенности множеств Фату и Жюлиа, а также точек равновесия и орбит нуля трех итерированных комплекснозначных отображений: $f:z \to (1+ \mu) \exp (iz)$, $g : z \to \big(1+ \mu |z - z^*|\big) \exp (iz)$, $h : z \to \big(1+ \mu (z - z^* )\big) \exp (iz)$, где $z,\mu \in \mathbb{C}$, $z^* : \exp (iz^*) = z^*$. Для квазилинейного отображения g, не обладающего свойством аналитичности, было обнаружено два бифуркационных перехода: рождение новой точки равновесия (для него было найдено критическое значение параметра, а сама бифуркация представляет собой смешанный случай «вилки» и седлоузельного перехода) и переход к радикальной трансформации множества Фату. Выявлен нетривиальный характер сходимости к фиксированной точке, связанный с появлением «долин» на графике скоростей сходимости. Для двух других отображений существенна монопериодичность режимов, отмечен феномен «удвоения периода» (в одном случае по пути $39\to 3$, в другом — по пути $17\to 2$), причем обнаружено совпадение кратности периода и числа рукавов спирали множества Жюлиа в окрестности фиксированной точки. Приведен богатый иллюстративный материал, численные результаты экспериментов и сводные таблицы, отражающие параметрическую зависимость отображений. Сформулированы вопросы для дальнейшего исследования средствами традиционной математики.

The work belongs to the direction of experimental mathematics, which investigates the properties of mathematical objects by the computing facilities of a computer. The base is an exponential map, its topological properties (Cantor's bouquets) differ from properties of polynomial and rational complex-valued functions. The subject of the study are the character and features of the Fatou and Julia sets, as well as the equilibrium points and orbits of the zero of three iterated complex-valued mappings: $f:z \to (1+ \mu) \exp (iz)$, $g : z \to \big(1+ \mu |z - z^*|\big) \exp (iz)$, $h : z \to \big(1+ \mu (z - z^* )\big) \exp (iz)$, with $z,\mu \in \mathbb{C}$, $z^* : \exp (iz^*) = z^*$. For a quasilinear map g having no analyticity characteristic, two bifurcation transitions were discovered: the creation of a new equilibrium point (for which the critical value of the linear parameter was found and the bifurcation consists of “fork” type and “saddle”-node transition) and the transition to the radical transformation of the Fatou set. A nontrivial character of convergence to a fixed point is revealed, which is associated with the appearance of “valleys” on the graph of convergence rates. For two other maps, the monoperiodicity of regimes is significant, the phenomenon of “period doubling” is noted (in one case along the path $39\to 3$, in the other along the path $17\to 2$), and the coincidence of the period multiplicity and the number of sleeves of the Julia spiral in a neighborhood of a fixed point is found. A rich illustrative material, numerical results of experiments and summary tables reflecting the parametric dependence of maps are given. Some questions are formulated in the paper for further research using traditional mathematics methods.

Рассматривается прямой алгоритм решения задачи линейного программирования (ЛП), заданной в каноническом виде. Алгоритм состоит из двух последовательных этапов, на которых прямым методом решаются приведенные ниже задачи ЛП: невырожденная вспомогательная задача (на первом этапе) и некоторая задача, равносильная исходной (на втором). В основе построения вспомогательной задачи лежит мультипликативный вариант метода исключения Гаусса, в самой структуре которого заложены возможности: идентификации несовместности и линейной зависимости ограничений; идентификации переменных, оптимальные значения которых заведомо равны нулю; фактического исключения прямых переменных и сокращения размерности пространства, в котором определено решение исходной задачи. В процессе фактического исключения переменных алгоритм генерирует последовательность мультипликаторов, главные строки которых формируют матрицу ограничений вспомогательной задачи, причем возможность минимизация заполнения главных строк мультипликаторов заложена в самой структуре прямых методов. При этом отсутствует необходимость передачи информации (базис, план и оптимальное значение целевой функции) на второй этап алгоритма и применения одного из способов устранения зацикливания для гарантии конечной сходимости.

Представлены два варианта алгоритма решения вспомогательной задачи в сопряженной канонической форме. Первый основан на ее решении прямым алгоритмом в терминах симплекс-метода, а второй — на решении задачи, двойственной к ней, симплекс-методом. Показано, что оба варианта алгоритма для одинаковых исходных данных (входов) генерируют одинаковую последовательность точек: базисное решение и текущее двойственное решение вектора оценок строк. Отсюда сделан вывод, что прямой алгоритм — это алгоритм типа симплекс-метода. Также показано, что сравнение вычислительных схем приводит к выводу, что прямой алгоритм позволяет уменьшить по кубическому закону число арифметических операций, необходимых для решения вспомогательной задачи, по сравнению с симплекс-методом. Приводится оценка числа итераций.

A direct algorithm for solving a linear programming problem (LP), given in canonical form, is considered. The algorithm consists of two successive stages, in which the following LP problems are solved by a direct method: a non-degenerate auxiliary problem at the first stage and some problem equivalent to the original one at the second. The construction of the auxiliary problem is based on a multiplicative version of the Gaussian exclusion method, in the very structure of which there are possibilities: identification of incompatibility and linear dependence of constraints; identification of variables whose optimal values are obviously zero; the actual exclusion of direct variables and the reduction of the dimension of the space in which the solution of the original problem is determined. In the process of actual exclusion of variables, the algorithm generates a sequence of multipliers, the main rows of which form a matrix of constraints of the auxiliary problem, and the possibility of minimizing the filling of the main rows of multipliers is inherent in the very structure of direct methods. At the same time, there is no need to transfer information (basis, plan and optimal value of the objective function) to the second stage of the algorithm and apply one of the ways to eliminate looping to guarantee final convergence.

Two variants of the algorithm for solving the auxiliary problem in conjugate canonical form are presented. The first one is based on its solution by a direct algorithm in terms of the simplex method, and the second one is based on solving a problem dual to it by the simplex method. It is shown that both variants of the algorithm for the same initial data (inputs) generate the same sequence of points: the basic solution and the current dual solution of the vector of row estimates. Hence, it is concluded that the direct algorithm is an algorithm of the simplex method type. It is also shown that the comparison of numerical schemes leads to the conclusion that the direct algorithm allows to reduce, according to the cubic law, the number of arithmetic operations necessary to solve the auxiliary problem, compared with the simplex method. An estimate of the number of iterations is given.

Проведен сравнительный анализ двух численных методик моделирования нестационарных режимов термогравитационной конвекции и теплового поверхностного излучения в замкнутой дифференциально обогреваемой кубической полости. Рассматриваемая область решения имела две изотермические противоположные вертикальные грани, остальные стенки являлись адиабатическими. Поверхности стенок считались диффузно-серыми, т. е. их направленные спектральные степень черноты и поглощательная способность не зависят ни от угла, ни от длины волны, но могут зависеть от температуры поверхности. Относительно отраженного излучения использовались два предположения: 1) отраженное излучение является диффузным, т. е. интенсивность отраженного излучения в любой точке границы поверхности равномерно распределена по всем направлениям; 2) отраженное излучение равномерно распределено по каждой поверхности замкнутой области решения. Математическая модель, сформулированная как в естественных переменных «скорость–давление», так и в преобразованных переменных «векторный потенциал–вектор завихренности», реализована численно методом контрольного объема и методом конечных разностей соответственно. Следует отметить, что анализ радиационного теплообмена проведен с использованием метода сальдо в варианте Поляка.

При решении краевой задачи в естественных переменных методом контрольного объема для аппроксимации конвективных слагаемых применялся степенной закон, для диффузионных слагаемых — центральные разности. Разностные уравнения движения и энергии разрешались на основе итерационного метода переменных направлений. Для поиска поля давления, согласованного с полем скорости, применялась процедура SIMPLE.

В случае метода конечных разностей и преобразованных переменных для аппроксимации конвективных слагаемых применялась монотонная схема Самарского, для диффузионных слагаемых — центральные разности. Уравнения параболического типа разрешались на основе локально-одномерной схемы Самарского. Дискретизация уравнений эллиптического типа для компонент векторного потенциала проводилась с использованием формул симметричной аппроксимации вторых производных. При этом полученное разностное уравнение разрешалось методом последовательной верхней релаксации. Оптимальное значение параметра релаксации подбиралось на основе вычислительных экспериментов.

В результате показано полное согласование полученных распределений скорости и температуры при различных значениях числа Рэлея, что отражает работоспособность представленных методик. Продемонстрирована эффективность использования преобразованных переменных и метода конечных разностей при решении класса нестационарных задач.

Comparative analysis of two numerical methods for simulation of unsteady natural convection and thermal surface radiation within a differentially heated cubical cavity has been carried out. The considered domain of interest had two isothermal opposite vertical faces, while other walls are adiabatic. The walls surfaces were diffuse and gray, namely, their directional spectral emissivity and absorptance do not depend on direction or wavelength but can depend on surface temperature. For the reflected radiation we had two approaches such as: 1) the reflected radiation is diffuse, namely, an intensity of the reflected radiation in any point of the surface is uniform for all directions; 2) the reflected radiation is uniform for each surface of the considered enclosure. Mathematical models formulated both in primitive variables “velocity–pressure” and in transformed variables “vector potential functions – vorticity vector” have been performed numerically using finite volume method and finite difference methods, respectively. It should be noted that radiative heat transfer has been analyzed using the net-radiation method in Poljak approach.

Using primitive variables and finite volume method for the considered boundary-value problem we applied power-law for an approximation of convective terms and central differences for an approximation of diffusive terms. The difference motion and energy equations have been solved using iterative method of alternating directions. Definition of the pressure field associated with velocity field has been performed using SIMPLE procedure.

Using transformed variables and finite difference method for the considered boundary-value problem we applied monotonic Samarsky scheme for convective terms and central differences for diffusive terms. Parabolic equations have been solved using locally one-dimensional Samarsky scheme. Discretization of elliptic equations for vector potential functions has been conducted using symmetric approximation of the second-order derivatives. Obtained difference equation has been solved by successive over-relaxation method. Optimal value of the relaxation parameter has been found on the basis of computational experiments.

As a result we have found the similar distributions of velocity and temperature in the case of these two approaches for different values of Rayleigh number, that illustrates an operability of the used techniques. The efficiency of transformed variables with finite difference method for unsteady problems has been shown.

Мы рассматриваем модель спонтанного формирования вычислительной структуры в мозге человека для решения заданного класса задач в процессе выполнения серии однотипных заданий. Модель основана на специальном определении числовой меры сложности алгоритма решения. Эта мера обладает информационным свойством: сложность вычислительной структуры, состоящей из двух независимых структур, равна сумме сложностей этих структур. Тогда вероятность спонтанного возникновения структуры экспоненциально зависит от сложности структуры. Коэффициент при экспоненте требует экспериментального определения для каждого типа задач. Он может зависеть от формы предъявления исходных данных и от процедуры выдачи результата. Этот метод оценки применен к результатам серии экспериментов, в которых определялась стратегия решения человеком серии однотипных задач с растущим числом исходных данных. Эти эксперименты были описаны в ранее изданных работах. Рассматривались две основные стратегии: последовательное выполнение вычислительного алгоритма или использование параллельных вычислений в тех задачах, где это эффективно. Эти стратегии различаются схемами проведения вычислений. Используя оценку сложности схем, можно по эмпирической вероятности одной из стратегий рассчитать вероятность другой. Проведенные вычисления показали хорошее совпадение расчетной и эмпирической вероятности. Это подтверждает гипотезу о спонтанном формировании структур, решающих задачу, в процессе начальной тренировки человека. Работа содержит краткое описание экспериментов, подробные вычислительные схемы и строгое определение меры сложности вычислительных структур и вывод зависимости вероятности формирования структуры от ее сложности.

We consider a model of spontaneous formation of a computational structure in the human brain for solving a given class of tasks in the process of performing a series of similar tasks. The model is based on a special definition of a numerical measure of the complexity of the solution algorithm. This measure has an informational property: the complexity of a computational structure consisting of two independent structures is equal to the sum of the complexities of these structures. Then the probability of spontaneous occurrence of the structure depends exponentially on the complexity of the structure. The exponential coefficient requires experimental determination for each type of problem. It may depend on the form of presentation of the source data and the procedure for issuing the result. This estimation method was applied to the results of a series of experiments that determined the strategy for solving a series of similar problems with a growing number of initial data. These experiments were described in previously published papers. Two main strategies were considered: sequential execution of the computational algorithm, or the use of parallel computing in those tasks where it is effective. These strategies differ in how calculations are performed. Using an estimate of the complexity of schemes, you can use the empirical probability of one of the strategies to calculate the probability of the other. The calculations performed showed a good match between the calculated and empirical probabilities. This confirms the hypothesis about the spontaneous formation of structures that solve the problem during the initial training of a person. The paper contains a brief description of experiments, detailed computational schemes and a strict definition of the complexity measure of computational structures and the conclusion of the dependence of the probability of structure formation on its complexity.

В работе описывается двухстадийная модель равновесного распределения транспортных потоков. Модель состоит из двух блоков, где первый блок — модель расчета матрицы корреспонденций, а второй блок — модель равновесного распределения транспортных потоков по путям. Первая модель, используя матрицу транспортных затрат (затраты на перемещение из одного района в другой, в данном случае — время), рассчитывает матрицу корреспонденций, описывающую потребности в объемах передвижения из одного района в другой район. Для решения этой задачи предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийную модель. Вторая модель на базе равновесного принципа Нэша–Вардропа (каждый водитель выбирает кратчайший для себя путь) описывает, как именно потребности в перемещениях, задаваемые матрицей корреспонденций, распределяются по возможным путям. Таким образом, зная способы распределения потоков по путям, можно рассчитать матрицу затрат. Равновесием в двухстадийной модели транспортных потоков называют неподвижную точку цепочки из этих двух моделей. Практически ранее отмеченную задачу поиска неподвижной точки решали методом простых итераций. К сожалению, на данный момент вопрос сходимости и оценки скорости сходимости для этого метода не изучен. Кроме того, при численной реализации алгоритма возникает множество проблем. В частности, при неудачном выборе точки старта возникают ситуации, в которых алгоритм требует вычисления экстремально больших чисел и превышает размер доступной памяти даже в самых современных вычислительных машинах. Поэтому в статье предложены способ сведения задачи поиска описанного равновесия к задаче выпуклой негладкой оптимизации и численный способ решения полученной задачи оптимизации. Для обоих методов решения задачи были проведены численные эксперименты. Авторами использовались данные для Владивостока (для этого была обработана информация из различных источников и собрана в новый пакет) и двух небольших городов США. Методом простой прогонки двух блоков сходимости добиться не удалось, тогда как вторая модель для того же набора данных продемонстрировала скорость сходимости $k^{−1.67}$.

Authors describe a two-stage traffic assignment model. It contains of two blocks. The first block consists of a model for calculating a correspondence (demand) matrix, whereas the second block is a traffic assignment model. The first model calculates a matrix of correspondences using a matrix of transport costs (it characterizes the required volumes of movement from one area to another, it is time in this case). To solve this problem, authors propose to use one of the most popular methods of calculating the correspondence matrix in urban studies — the entropy model. The second model describes exactly how the needs for displacement specified by the correspondence matrix are distributed along the possible paths. Knowing the ways of the flows distribution along the paths, it is possible to calculate the cost matrix. Equilibrium in a two-stage model is a fixed point in the sequence of these two models. In practice the problem of finding a fixed point can be solved by the fixed-point iteration method. Unfortunately, at the moment the issue of convergence and estimations of the convergence rate for this method has not been studied quite thoroughly. In addition, the numerical implementation of the algorithm results in many problems. In particular, if the starting point is incorrect, situations may arise where the algorithm requires extremely large numbers to be computed and exceeds the available memory even on the most modern computers. Therefore the article proposes a method for reducing the problem of finding the equilibrium to the problem of the convex non-smooth optimization. Also a numerical method for solving the obtained optimization problem is proposed. Numerical experiments were carried out for both methods of solving the problem. The authors used data for Vladivostok (for this city information from various sources was processed and collected in a new dataset) and two smaller cities in the USA. It was not possible to achieve convergence by the method of fixed-point iteration, whereas the second model for the same dataset demonstrated convergence rate $k^{-1.67}$.

Исследуются динамические теоретико-игровые модели инновационного развития корпорации. Предлагаемые модели основаны на согласовании частных и общественных интересов агентов. Предполагается, что структура интересов каждого агента включает как частную (личные интересы), так и общественную (интересы компании в целом, в первую очередь отражающие необходимость ее инновационного развития) составляющие. Агенты могут делить персональные ресурсы между этими направлениями. Динамика системы описывается не дифференциальным, а разностным уравнением. При исследовании предложенной модели инновационного развития используются имитация и метод перебора областей допустимых управлений субъектов с некоторым шагом. Основной вклад работы — сравнительный анализ эффективности методов иерархического управления для информационных регламентов Штакельберга/Гермейера при принуждении/побуждении (четыре регламента) с помощью индексов системной согласованности. Предлагаемая модель носит универсальный характер и может быть использована для научно обоснованной поддержки ПИР компаний всех отраслей экономики. Специфика конкретной компании учитывается в ходе идентификации модели (определения конкретных классов ис- пользуемых в модели функций и числовых значений параметров), которая представляет собой отдельную сложную задачу и предполагает анализ системы официальной отчетности компании и применение экспертных оценок ее специалистов. Приняты следующие предположения относительно информационного регламента иерархической игры: все игроки используют программные стратегии; ведущий выбирает и сообщает ведомым экономические управления либо административные управления, которые могут быть только функциями времени (игры Штакельберга) либо зависеть также от управлений ведомых (игры Гермейера); при известных стратегиях ведущего ведомые одновременно и независимо выбирают свои стратегии, что приводит к равновесию Нэша в игре ведомых. За конечное число итераций предложенный алгоритм имитационного моделирования позволяет построить приближенное решение модели или сделать вывод, что равновесия не существует. Достоверность и эффективность предложенного алгоритма следуют из свойств методов сценариев и прямого упорядоченного перебора с постоянным шагом. Получен ряд содержательных выводов относительно сравнительной эффективности методов иерархического управления инновациями.

Dynamic game theoretic models of the corporative innovative development are investigated. The proposed models are based on concordance of private and public interests of agents. It is supposed that the structure of interests of each agent includes both private (personal interests) and public (interests of the whole company connected with its innovative development first) components. The agents allocate their personal resources between these two directions. The system dynamics is described by a difference (not differential) equation. The proposed model of innovative development is studied by simulation and the method of enumeration of the domains of feasible controls with a constant step. The main contribution of the paper consists in comparative analysis of efficiency of the methods of hierarchical control (compulsion or impulsion) for information structures of Stackelberg or Germeier (four structures) by means of the indices of system compatibility. The proposed model is a universal one and can be used for a scientifically grounded support of the programs of innovative development of any economic firm. The features of a specific company are considered in the process of model identification (a determination of the specific classes of model functions and numerical values of its parameters) which forms a separate complex problem and requires an analysis of the statistical data and expert estimations. The following assumptions about information rules of the hierarchical game are accepted: all players use open-loop strategies; the leader chooses and reports to the followers some values of administrative (compulsion) or economic (impulsion) control variables which can be only functions of time (Stackelberg games) or depend also on the followers’ controls (Germeier games); given the leader’s strategies all followers simultaneously and independently choose their strategies that gives a Nash equilibrium in the followers’ game. For a finite number of iterations the proposed algorithm of simulation modeling allows to build an approximate solution of the model or to conclude that it doesn’t exist. A reliability and efficiency of the proposed algorithm follow from the properties of the scenario method and the method of a direct ordered enumeration with a constant step. Some comprehensive conclusions about the comparative efficiency of methods of hierarchical control of innovations are received.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

As the population of cities grows, the need to plan for the development of transport infrastructure becomes more acute. For this purpose, transport modeling packages are created. These packages usually contain a set of convex optimization problems, the iterative solution of which leads to the desired equilibrium distribution of flows along the paths. One of the directions for the development of transport modeling is the construction of more accurate generalized models that take into account different types of passengers, their travel purposes, as well as the specifics of personal and public modes of transport that agents can use. Another important direction of transport models development is to improve the efficiency of the calculations performed. Since, due to the large dimension of modern transport networks, the search for a numerical solution to the problem of equilibrium distribution of flows along the paths is quite expensive. The iterative nature of the entire solution process only makes this worse. One of the approaches leading to a reduction in the number of calculations performed is the construction of consistent models that allow to combine the blocks of a 4-stage model into a single optimization problem. This makes it possible to eliminate the iterative running of blocks, moving from solving a separate optimization problem at each stage to some general problem. Early work has proven that such approaches provide equivalent solutions. However, it is worth considering the validity and interpretability of these methods. The purpose of this article is to substantiate a single problem, that combines both the calculation of the trip matrix and the modal choice, for the generalized case when there are different layers of demand, types of agents and classes of vehicles in the transport network. The article provides possible interpretations for the gauge parameters used in the problem, as well as for the dual factors associated with the balance constraints. The authors of the article also show the possibility of combining the considered problem with a block for determining network load into a single optimization problem.