Все выпуски

Изучаются вычислительные свойства параметрического класса конечно-объемных схем с настраиваемыми диссипативными свойствами с расщеплением по физическим процессам на лагранжев, эйлеров и заключительный этапы (гибридный метод крупных частиц). Метод обладает вторым порядком аппроксимации по пространству и времени на гладких решениях. Регуляризация численного решения на лагранжевом этапе осуществляется нелинейной коррекцией искусственной вязкости, величина которой, независимо от разрешения сетки, стремится к нулю вне зоны разрывови экстремумовв решении. На эйлеровом и заключительном этапе вначале реконструируются примитивные переменные (плотность, скорость и полная энергия) путем взвешенной ограничителем потоков аддитивной комбинации противопоточной и центральной аппроксимаций. Затем из них формируются численные дивергентные потоки. При этом выполняются дискретные аналоги законов сохранения.

Выполнен анализ диссипативных свойств метода с использованием известных ограничителей вязкости и потоков, а также их линейной комбинации. Разрешающая способность схемы и качество численных решений продемонстрированы на примерах двумерных тестов с обтеканием ступеньки потоком газа с числами Маха 3, 10 и 20, двойным маховским отражением сильной ударной волны и с импульсным сжатием газа. Изучено влияние схемной вязкости метода на численное воспроизведение неустойчивости на контактных поверхностях газов. Установлено, что уменьшение уровня диссипативных свойств схемы в задаче с импульсным сжатием газа приводит к разрушению симметричного решения и формированию хаотической неустойчивости на контактной поверхности.

Численные решения сопоставлены с результатами других авторов, полученных по схемам повышенного порядка аппроксимации: КАБАРЕ, HLLC (Harten Lax van Leer Contact), CFLFh (CFLF hybrid scheme), JT (centered scheme with limiter by Jiang and Tadmor), PPM (Piecewise Parabolic Method), WENO5 (weighted essentially non-oscillatory scheme), RKGD (Runge–Kutta Discontinuous Galerkin), с гибридной взвешенной нелинейной интерполяцией CCSSR-HW4 и CCSSR-HW6. К достоинствам гибридного метода крупных частиц относятся расширенные возможности решения задач гиперболического и смешанного типов, хорошее соотношение диссипативных и дисперсионных свойств, сочетание алгоритмической простоты и высокой разрешающей способности в задачах со сложной ударно-волновой структурой, развитием неустойчивости и вихреобразованием на контактных границах.

We study the computational properties of a parametric class of finite-volume schemes with customizable dissipative properties with splitting by physical processes into Lagrangian, Eulerian, and the final stages (the hybrid large-particle method). The method has a second-order approximation in space and time on smooth solutions. The regularization of a numerical solution at the Lagrangian stage is performed by nonlinear correction of artificial viscosity. Regardless of the grid resolution, the artificial viscosity value tends to zero outside the zone of discontinuities and extremes in the solution. At Eulerian and final stages, primitive variables (density, velocity, and total energy) are first reconstructed by an additive combination of upwind and central approximations weighted by a flux limiter. Then numerical divergent fluxes are formed from them. In this case, discrete analogs of conservation laws are performed.

The analysis of dissipative properties of the method using known viscosity and flow limiters, as well as their linear combination, is performed. The resolution of the scheme and the quality of numerical solutions are demonstrated by examples of two-dimensional benchmarks: a gas flow around the step with Mach numbers 3, 10 and 20, the double Mach reflection of a strong shock wave, and the implosion problem. The influence of the scheme viscosity of the method on the numerical reproduction of a gases interface instability is studied. It is found that a decrease of the dissipation level in the implosion problem leads to the symmetric solution destruction and formation of a chaotic instability on the contact surface.

Numerical solutions are compared with the results of other authors obtained using higher-order approximation schemes: CABARET, HLLC (Harten Lax van Leer Contact), CFLFh (CFLF hybrid scheme), JT (centered scheme with limiter by Jiang and Tadmor), PPM (Piecewise Parabolic Method), WENO5 (weighted essentially non-oscillatory scheme), RKGD (Runge –Kutta Discontinuous Galerkin), hybrid weighted nonlinear schemes CCSSR-HW4 and CCSSR-HW6. The advantages of the hybrid large-particle method include extended possibilities for solving hyperbolic and mixed types of problems, a good ratio of dissipative and dispersive properties, a combination of algorithmic simplicity and high resolution in problems with complex shock-wave structure, both instability and vortex formation at interfaces.

Для модельного неоднородного уравнения переноса с источником выполнен анализ устойчивости линейной гибридной схемы (комбинации противопоточной и центральной аппроксимаций). Получены условия устойчивости, зависящие от параметра гибридности, фактора интенсивности источника (произведения интенсивности на шаг по времени) и весового коэффициента линейной комбинации мощности источника на нижнем и верхнем временном слое. В нелинейном случае для уравнений движения неравновесной по скоростям и температурам газовзвеси расчетным путем подтвержден линейный анализ устойчивости. Установлено, что предельно допустимое число Куранта гибридного метода крупных частиц второго порядка точности по пространству и времени при неявном учете трения и теплообмена между газом и частицами не зависит от фактора интенсивности межфазных взаимодействий, шага расчетной сетки и времен релаксации фаз (K-устойчивость). В традиционном случае явного способа расчета источниковых членов для значений безразмерного фактора интенсивности больше 10 наблюдается катастрофическое (на несколько порядков) снижение предельно допустимого числа Куранта, при котором расчетный шаг по времени становится неприемлемо малым.

На основе базовых соотношений распада разрыва в равновесной гетерогенной среде получено асимптотически точное автомодельное решение задачи взаимодействия ударной волны со слоем газовзвеси, к которому сходится численное решение двухскоростной двухтемпературной динамики газовзвеси при уменьшении размеровди сперсных частиц.

Изучены динамика движения скачка уплотнения в газе и его взаимодействия с ограниченным слоем газовзвеси для различных размеров дисперсных частиц: 0.1, 2 и 20 мкм. Задача характеризуется двумя распадами разрывов: отраженной и преломленной ударными волнами на левой границе слоя, отраженной волной разрежения и прошедшим скачком уплотнения на правой контактной границе. Обсуждено влияние релаксационных процессов (безразмерных времен релаксации фаз) на характер течения газовзвеси. Для мелких частиц времена выравнивания скоростей и температур фаз малы, а зоны релаксации являются подсеточными. Численное решение в характерных точках с относительной точностью $O\, (10^{−4})$  сходится к автомодельным решениям.

For a non-homogeneous model transport equation with source terms, the stability analysis of a linear hybrid scheme (a combination of upwind and central approximations) is performed. Stability conditions are obtained that depend on the hybridity parameter, the source intensity factor (the product of intensity per time step), and the weight coefficient of the linear combination of source power on the lower- and upper-time layer. In a nonlinear case for the non-equilibrium by velocities and temperatures equations of gas suspension motion, the linear stability analysis was confirmed by calculation. It is established that the maximum permissible Courant number of the hybrid large-particle method of the second order of accuracy in space and time with an implicit account of friction and heat exchange between gas and particles does not depend on the intensity factor of interface interactions, the grid spacing and the relaxation times of phases (K-stability). In the traditional case of an explicit method for calculating the source terms, when a dimensionless intensity factor greater than 10, there is a catastrophic (by several orders of magnitude) decrease in the maximum permissible Courant number, in which the calculated time step becomes unacceptably small.

On the basic ratios of Riemann’s problem in the equilibrium heterogeneous medium, we obtained an asymptotically exact self-similar solution of the problem of interaction of a shock wave with a layer of gas-suspension to which converge the numerical solution of two-velocity two-temperature dynamics of gassuspension when reducing the size of dispersed particles.

The dynamics of the shock wave in gas and its interaction with a limited gas suspension layer for different sizes of dispersed particles: 0.1, 2, and 20 ìm were studied. The problem is characterized by two discontinuities decay: reflected and refracted shock waves at the left boundary of the layer, reflected rarefaction wave, and a past shock wave at the right contact edge. The influence of relaxation processes (dimensionless phase relaxation times) to the flow of a gas suspension is discussed. For small particles, the times of equalization of the velocities and temperatures of the phases are small, and the relaxation zones are sub-grid. The numerical solution at characteristic points converges with relative accuracy $O \, (10^{-4})$ to self-similar solutions.

Сформулирована задача описания объектов различной природы на основе системы линейных уравнений, в которой число неизвестных превосходит число уравнений. Важной особенностью такой задачи, существенно усложняющей ее решение, являются ограничения на значения ряда переменных. Примером такой задачи является выбор биохимических реакций, осуществляющих преобразование заданного субстрата (исходного вещества) в заданный продукт. В этом случае неизвестными являются скорости биохимических реакций, образующие искомый вектор решения. Компоненты этого вектора в описываемом подходе разделяются на две группы: 1) задаваемые, $\vec{y}$; 2) зависящие от задаваемых, $\vec{x}$. Изучены варианты конфигурации области допустимых значений $\vec{y}$, следующие из ограничений, наложенных на компоненты $\vec{x}$. Выявлено, что часть ограничений могут быть излишними и поэтому исключенными из рассмотрения, что упрощает решение задачи. Анализируются случаи, когда два или более ограничений на $\vec{x}$ приводят к появлению жестких связей между компонентами $\vec{y}$. Описаны методы поиска базисных решений, учитывающие особенности данной задачи. Постановка общей задачи и полученные решения проиллюстрированы биохимическим примером.

The problem is formulated for description of objects having various natures which uses a system of linear equations with variable number exceeding the number of the equations. An important feature of this problem that substantially complicates its solving is the existing of restrictions imposed on a number of the variables. In particular, the choice of biochemical reaction aggregate that converts a preset substrate (a feedstock) into a preset product belongs to this kind of problems. In this case, unknown variables are the rates of biochemical reactions which form a vector to be determined. Components of this vector are subdivided into two groups: 1) the defined components, $\vec{y}$; 2) those dependent on the defined ones, $\vec{x}$. Possible configurations of the domain of $\vec{y}$ values permitted by restrictions imposed upon $\vec{x}$ components have been studied. It has been found that a part of restrictions may be superfluous and, therefore, unnecessary for the problem solving. Situations are analyzed when two or more $\vec{x}$ restrictions result in strict interconnections between $\vec{y}$ components. Methods of search of the basis solutions which take into account the peculiarities of this problem are described. Statement of the general problem and properties of its solutions are illustrated using a biochemical example.

Разные варианты моделей переключающегося режима воспроизводства описывают совокупность взаимодействующих друг с другом макроэкономических производственных подсистем, каждой из которых соответствует свое домашнее хозяйство. Эти подсистемы различаются между собой по возрасту используемого ими основного капитала, поскольку они по очереди останавливают производство продукции для его обновления собственными силами (для ремонта оборудования и для привнесения инноваций, увеличивающих эффективность производства). Это принципиально отличает данный тип моделей от моделей, описывающих режим совместного воспроизводства, при котором обновление основного капитала и производство продукта происходят одновременно. Модели переключающегося режима воспроизводства позволяют наглядно описать механизмы таких явлений, как денежные кругообороты и амортизация, а также описывать различные виды монетарной политики, позволяют по-новому интерпретировать механизмы экономического роста. В отличие от многих других макроэкономических моделей модели этого класса, в которых конкурирующие между собой подсистемы поочередно приобретают преимущество над остальными за счет обновления, принципиально не равновесны. Изначально они были описаны в виде систем обыкновенных дифференциальных уравнений со скачкообразно меняющимися коэффициентами. В численных расчетах, проводившихся для этих систем, в зависимости от значений параметров и начальных условий была выявлена как регулярная, так и нерегулярная динамика. В данной работе показано, что простейшие варианты этой модели без использования дополнительных приближений могут быть представлены в дискретной форме (в виде нелинейных отображений) при различных вариантах (непрерывных и дискретных) финансовых потоков между подсистемами (интерпретируемых как зарплаты и субсидии). Эта форма представления более удобна для получения строгих аналитических результатов, а также для проведения более экономных и точных численных расчетов. В частности, ее использование позволило определить начальные условия, соответствующие скоординированному, устойчивому экономическому росту без систематического отставания в производительности одних подсистем от других.

Different versions of the shifting mode of reproduction models describe set of the macroeconomic production subsystems interacting with each other, to each of which there corresponds the household. These subsystems differ among themselves on age of the fixed capital used by them as they alternately stop production for its updating by own forces (for repair of the equipment and for introduction of the innovations increasing production efficiency). It essentially distinguishes this type of models from the models describing the mode of joint reproduction in case of which updating of fixed capital and production of a product happen simultaneously. Models of the shifting mode of reproduction allow to describe mechanisms of such phenomena as cash circulations and amortization, and also to describe different types of monetary policy, allow to interpret mechanisms of economic growth in a new way. Unlike many other macroeconomic models, model of this class in which the subsystems competing among themselves serially get an advantage in comparison with the others because of updating, essentially not equilibrium. They were originally described as a systems of ordinary differential equations with abruptly varying coefficients. In the numerical calculations which were carried out for these systems depending on parameter values and initial conditions both regular, and not regular dynamics was revealed. This paper shows that the simplest versions of this model without the use of additional approximations can be represented in a discrete form (in the form of non-linear mappings) with different variants (continuous and discrete) financial flows between subsystems (interpreted as wages and subsidies). This form of representation is more convenient for receipt of analytical results as well as for a more economical and accurate numerical calculations. In particular, its use allowed to determine the entry conditions corresponding to coordinated and sustained economic growth without systematic lagging in production of a product of one subsystems from others.

Сейсмическая разведка является наиболее распространённым методом поиска и разведки месторождений полезных ископаемых: нефти и природного газа. Зародившись в начале XX века, она получила значительное развитие и в настоящий момент используется практически всеми сервисными нефтяными компаниями. Основными ее преимуществами являются приемлемая стоимость проведения полевых работ (по сравнению с бурением скважин) и точность восстановления характеристик подповерхностного пространства. Однако с открытием нетрадиционных месторождений (например, Арктический шельф, Баженовская свита) актуальной стала задача усовершенствования существующих и создания новых технологий обработки сейсмических данных. Значительное развитие в данном направлении возможно с использованием численного моделирования распространения сейсмических волн в реалистичных моделях геологического массива, поскольку реализуется возможность задания произвольной внутренней структуры среды с последующей оценкой синтетического сигнала-отклика.

Настоящая работа посвящена исследованию пространственных динамических процессов, протекающих в геологических средах, содержащих трещиноватые включения, в процессе сейсмической разведки. Авторами построена трехмерная модель слоистого массива, содержащего пласт из флюидонасыщенных трещин, позволяющая оценить сигнал-отклик при варьировании структуры неоднородного включения. Для описания физических процессов используется система уравнений линейно-упругого тела в частных производных второго порядка, которая решается численно сеточно-характеристическим методом на гексаэдральных расчетных сетках. При этом плоскости трещин выделяются на этапе построения расчетной сетки, в дальнейшем используется дополнительная корректировка, обеспечивающая корректный сейсмический отклик для параметров модели, характерных для геологических сред.

В работе получены площадные трехкомпонентные сейсмограммы с общим пунктом взрыва. На их основе проведена оценка влияния структуры трещиноватой среды на анизотропию сейсмического отклика, регистрируемого на дневной поверхности на различном удалении от источника. Установлено, что кинематические характеристики сигнала остаются постоянными, тогда как динамические характеристики для упорядоченных и неупорядоченных моделей могут различаться на десятки процентов.

Seismic survey process is the common method of prospecting and exploration of deposits: oil and natural gas. Invented at the beginning of the XX century, it has received significant development and is currently used by almost all service oil companies. Its main advantages are the acceptable cost of fieldwork (in comparison with drilling wells) and the accuracy of estimating the characteristics of the subsurface area. However, with the discovery of non-traditional deposits (for example, the Arctic shelf, the Bazhenov Formation), the task of improving existing and creating new seismic data processing technologies became important. Significant development in this direction is possible with the use of numerical simulation of the propagation of seismic waves in realistic models of the geological medium, since it is possible to specify an arbitrary internal structure of the medium with subsequent evaluation of the synthetic signal-response.

The present work is devoted to the study of spatial dynamic processes occurring in geological medium containing fractured inclusions in the process of seismic exploration. The authors constructed a three-dimensional model of a layered massif containing a layer of fluid-saturated cracks, which makes it possible to estimate the signal-response when the structure of the inhomogeneous inclusion is varied. To describe physical processes, we use a system of equations for a linearly elastic body in partial derivatives of the second order, which is solved numerically by a grid-characteristic method on hexahedral grid. In this case, the crack planes are identified at the stage of constructing the grid, and further an additional correction is used to ensure a correct seismic response for the model parameters typical for geological media.

In the paper, three-component area seismograms with a common explosion point were obtained. On their basis, the effect of the structure of a fractured medium on the anisotropy of the seismic response recorded on the day surface at a different distance from the source was estimated. It is established that the kinematic characteristics of the signal remain constant, while the dynamic characteristics for ordered and disordered models can differ by tens of percents.

Модели Курамото нелинейно связанных осцилляторов позволяют достаточно просто описывать фазовую синхронизацию в сложных системах. В данной работе мы рассматриваем частный случай модели Курамото с тремя осцилляторами, возникший в процессе исследования и моделирования меридионального потока в конвективной зоне Солнца. В рассматриваемой модели крайние осцилляторы связаны только со средним, а прямая связь между ними отсутствует. В отличие от классических моделей Курамото рассматриваемая система предполагает существенную асимметрию в связях каждого из осцилляторов с двумя другими. Мы исследуем, какое влияние на синхронизацию оказывает коэффициент связи, характеризующий асимметрию связей среднего осциллятора. Необходимое и достаточное условия синхронизации в этой работе выписываются аналитически и получаются отличными от достаточных условий синхронизации в классической (симметричной) модели. Мы формулируем обратную задачу восстановления коэффициентов связи из фазовой разницы крайних осцилляторов при известных естественных частотах. Восстановление проводится в предположении синхронизации. Получено, что коэффициенты связи с точностью до знака восстанавливаются для любого значения коэффициента несимметрии среднего осциллятора. Мы исследуем, как меняется график зависимости суммарной связи от коэффициента несимметрии при изменении разности фаз крайних осцилляторов, а также в особых случаях совпадающих или сильно отличающихся естественных частот. В случае общего положения, при разности фаз крайних осцилляторов, близких к $\pi$, суммарная связь, соответствующая сильной асимметрии связей среднего осциллятора, оказывается меньше, чем в симметричном случае. Мы рассматриваем значения естественных частот, пересчитанные из скоростей меридионального потока Солнца. В зависимости от интерпретации данных гелиосейсмологии мы получаем два случая: случай общего положения, соответствующий наблюдениям средней ячейки, и особый случай, соответствующий наблюдениям нижней ячейки. Однозначное (с точностью до знака) восстановление коэффициентов связи в случае слабой суммарной связи возможно только в случае общего положения. В заключении делаются выводы о возможности использования курамотовских моделей с асимметрией связей, относящихся к одному осциллятору, для моделирования слабо связанных систем, к каким, по всей видимости, относится солнечная меридиональная циркуляция.

Kuramoto model of non-linearly coupled oscillators provides a simple but effective approach to the study of the synchronization phenomenon in complex systems. In the present article we consider a particular Kuramoto model with three non-identical oscillators associated with a multi-cell radial profile of the solar meridional circulation. The top and the bottom oscillators are coupled through the middle one. The main difference of the present Kuramoto model from the previous ones consists in the non-identical coupling: coupling coefficients which tie the middle oscillator with the top and the bottom ones are different. We investigate how the value of the coupling asymmetry of the middle oscillator influences the synchronization. In the present model the synchronization conditions appear to be different the classical Kuramoto model allowing the synchronization to be reached with weaker coupling. We perform a reconstruction of coupling coefficients from the phase difference between the top and the bottom oscillators, assuming that the synchronization is reached and the natural frequencies are known. The absolute cumulative coupling is uniquely determined by the phase difference between the top and the bottom oscillators and the coupling asymmetry of the middle oscillator. In general case, higher values of the coupling asymmetry of the middle oscillator correspond to lower cumulative coupling. A unique coupling reconstruction with unknown coupling asymmetry is possible in general case only for the weak cumulative coupling. Deviations from the general case are discussed. We perform a model simulation with natural frequencies estimated from the velocities of the solar meridional flow. Heliseismological observations of the deep flow may be attributed either to the middle cell or to the deep one. We discuss the difference between these two cases in terms of the coupling reconstruction.

В данной работе рассматривается параллельный метод решения задач однофазной фильтрации в трещиноватой пористой среде, основанный на представлении трещин вложенными в расчетную сетку поверхностями и называемый в литературе моделью (или методом) вложенных дискретных трещин. В рамках модели пористая среда и крупные трещины представляются в виде двух независимых континуумов. Отличительной особенностью рассматриваемого подхода является то, что расчетная сетка не перестраивается под положение трещин, при этом для каждой ячейки, пересекаемой трещиной, вводится дополнительная степень свободы. Дискретизация потоков между введенными континуумами трещин и пористой среды использует преднасчитанные характеристики пересечения поверхностей трещин с трехмерной расчетной сеткой. При этом дискретизация потоков внутри пористой среды не зависит от потоков между континуумами. Это позволяет интегрировать модель в уже существующие симуляторы многофазных течений в пористых коллекторах и при этом точно описывать поведение течений вблизи трещин.

Ранее автором был предложен монотонный метод вложенных дискретных трещин, основанный на применении метода конечных объемов с нелинейными схемами дискретизации потоков внутри пористой среды: монотонной двухточечной схемы или компактной многоточечной схемы с дискретным принципом максимума. Было доказано, что дискретное решение полученной нелинейной задачи для системы «пористая среда + трещины» сохраняет неотрицательность или удовлетворяет дискретному принципу максимума в зависимости от выбора схемы дискретизации.

Данная работа является продолжением предыдущих исследований. Предложенный метод был параллелизован с помощью программной платформы INMOST и протестирован. Были использованы такие возможности INMOST, как сбалансированное распределение сетки по процессорам, масштабируемые методы решения разреженных распределенных систем линейных уравнений и другие. Были проведены параллельные расчеты, демонстрирующие хорошую масштабируемость при увеличении числа процессоров.

In this work, parallel method for solving single-phase flow problems in a fractured porous media is considered. Method is based on the representation of fractures by surfaces embedded into the computational mesh, and known as the embedded discrete fracture model. Porous medium and fractures are represented as two independent continua within the model framework. A distinctive feature of the considered approach is that fractures do not modify the computational grid, while an additional degree of freedom is introduced for each cell intersected by the fracture. Discretization of fluxes between fractures and porous medium continua uses the pre-calculated intersection characteristics of fracture surfaces with a three-dimensional computational grid. The discretization of fluxes inside a porous medium does not depend on flows between continua. This allows the model to be integrated into existing multiphase flow simulators in porous reservoirs, while accurately describing flow behaviour near fractures.

Previously, the author proposed monotonic modifications of the model using nonlinear finite-volume schemes for the discretization of the fluxes inside the porous medium: a monotonic two-point scheme or a compact multi-point scheme with a discrete maximum principle. It was proved that the discrete solution of the obtained nonlinear problem preserves non-negativity or satisfies the discrete maximum principle, depending on the choice of the discretization scheme.

This work is a continuation of previous studies. The previously proposed monotonic modification of the model was parallelized using the INMOST open-source software platform for parallel numerical modelling. We used such features of the INMOST as a balanced grid distribution among processors, scalable methods for solving sparse distributed systems of linear equations, and others. Parallel efficiency was demonstrated experimentally.

В работе предложена новая модель циркадианных колебаний нейроспоры, которая описывает пространственно-временную динамику белков, ответственных за механизм биоритмов. Модель основывается на нелинейном взаимодействии белков FRQ и WCC, кодируемых генами frequency и white collar, и включает в себя как положительную, так и отрицательную петлю обратной связи. Главным элементом механизма колебаний является эффект запаздывания в биохимических реакциях транскрипции генов. Показано, что модель воспроизводит такие свойства циркадианных колебаний нейроспоры как захват частоты под действием внешнего периодического освещения, сброс фазы биоритмов при воздействии импульса света, устойчивость механизма колебаний по отношению к случайным флуктуациям и т. д. Исследованы волновые структуры, возникающие в ходе пространственной эволюции системы. Показано, что волны синхронизации биоритмов среды возникают под воздействием базального транскрипционного фактора.

We derive a new model of circadian oscillations in Neurospora crassa, which is suitable to analyze both temporal and spatial dynamics of proteins responsible for mechanism of rythms. The model is based on the non-linear interplay between proteins FRQ and WCC which are products of transcription of frequency and white collar genes forming a feedback loop comprised both positive and negative elements. The main component of oscillations mechanism is supposed to be time-delay in biochemical reactions of transcription. We show that the model accounts for various features observed in Neurospora’s experiments such as entrainment by light cycles, phase shift under light pulse, robustness to action of fluctuations and so on. Wave patterns excited during spatial development of the system are studied. It is shown that the wave of synchronization of biorythms arises under basal transcription factors.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

С 50-х годов XX века транспортное моделирование крупных мегаполисов стало усиленно развиваться. Появились первые модели равновесного распределения потоков по путям. Наиболее популярной (и использующейся до сих пор) моделью была модель Бэкмана и др. 1955 г. В основу этой модели положены два принципа Вардропа. На современном теоретико-игровом языке можно кратко описать суть модели как поиск равновесия Нэша в популяционной игре загрузки, в которой потери игроков (водителей) рассчитываются исходя из выбранного пути и загрузках на этом пути, при фиксированных корреспонденциях. Загрузки (затраты) на пути рассчитываются как сумма затрат на различных участках дороги (ребрах графа транспортной сети). Затраты на ребре (время проезда по ребру) определяется величиной потока автомобилей на этом ребре. Поток на ребре, в свою очередь, определяется суммой потоков по всем путям, проходящим через заданное ребро. Таким образом, затраты на проезд по пути определяются не только выбором пути, но и тем, какие пути выбрали остальные водители. Таким образом, мы находимся в стандартной теоретико-игровой постановке. Специфика формирования функций затрат позволяет сводить поиск равновесия к решению задачи оптимизации (игра потенциальная). Эта задача оптимизации будет выпуклой, если функции затрат монотонно неубывающие. Собственно, различные предположения о функциях затрат формируют различные модели. Наиболее популярной моделью является модель с функцией затрат BPR. Такие функции используются при расчетах реальных городов повсеместно. Однако в начале XXI века Ю. Е. Нестеровым и А. де Пальмой было показано, что модели типа Бэкмана имеют серьезные недостатки. Эти недостатки можно исправить, используя модель, которую авторы назвали моделью стабильной динамики. Поиск равновесия в такой модели также сводится к задаче оптимизации. Точнее, даже задаче линейного программирования. В 2013 г. А. В. Гасниковым было обнаружено, что модель стабильной ди- намики может быть получена предельным переходом, связанным с поведением функции затрат, из модели Бэкмана. Однако обоснование упомянутого предельного перехода было сделано в нескольких важных (для практики), но все- таки частных случаях. В общем случае вопрос о возможности такого предельного перехода, насколько нам известно, остается открытым. Данная работа закрывает данный зазор. В статье в общем случае приводится обоснование возможности отмеченного предельного перехода (когда функция затрат на проезд по ребру как функция потока по ребру вырождается в функцию, равную постоянным затратам до достижения пропускной способности, и равна плюс бесконечности, при превышении пропускной способности).

Since 1950s the field of city transport modelling has progressed rapidly. The first equilibrium distribution models of traffic flow appeared. The most popular model (which is still being widely used) was the Beckmann model, based on the two Wardrop principles. The core of the model could be briefly described as the search for the Nash equilibrium in a population demand game, in which losses of agents (drivers) are calculated based on the chosen path and demands of this path with correspondences being fixed. The demands (costs) of a path are calculated as the sum of the demands of different path segments (graph edges), that are included in the path. The costs of an edge (edge travel time) are determined by the amount of traffic on this edge (more traffic means larger travel time). The flow on a graph edge is determined by the sum of flows over all paths passing through the given edge. Thus, the cost of traveling along a path is determined not only by the choice of the path, but also by the paths other drivers have chosen. Thus, it is a standard game theory task. The way cost functions are constructed allows us to narrow the search for equilibrium to solving an optimization problem (game is potential in this case). If the cost functions are monotone and non-decreasing, the optimization problem is convex. Actually, different assumptions about the cost functions form different models. The most popular model is based on the BPR cost function. Such functions are massively used in calculations of real cities. However, in the beginning of the XXI century, Yu. E. Nesterov and A. de Palma showed that Beckmann-type models have serious weak points. Those could be fixed using the stable dynamics model, as it was called by the authors. The search for equilibrium here could be also reduced to an optimization problem, moreover, the problem of linear programming. In 2013, A.V.Gasnikov discovered that the stable dynamics model can be obtained by a passage to the limit in the Beckmann model. However, it was made only for several practically important, but still special cases. Generally, the question if this passage to the limit is possible remains open. In this paper, we provide the justification of the possibility of the above-mentioned passage to the limit in the general case, when the cost function for traveling along the edge as a function of the flow along the edge degenerates into a function equal to fixed costs until the capacity is reached and it is equal to plus infinity when the capacity is exceeded.