Все выпуски

В работе представлена методика линеаризации диаграммы растяжения-сжатия материала нелинейно деформируемых балки и круглой пластины с целью обобщения уравнений свободных колебаний чистого изгиба. В статье рассматриваются композиционные, в среднем изотропные призматические балки постоянного прямоугольного поперечного сечения и круглые пластины постоянной толщины из нелинейно-упругих компонент. Методика заключается в определении аппроксимирующего модуля Юнга материала исходя из начального напряженно-деформированного состояния балки и пластины, подверженных действию изгибающего момента.

В статье предлагается два критерия линеаризации: равенство удельной потенциальной энергии деформации, а также минимизация среднеквадратического отклонения при приближении нелинейного уравнения состояния линейной функцией. Данный метод позволяет в аналитическом виде получить оценочное значение частоты свободных колебаний слоистых и структурно-неоднородных в среднем изотропных нелинейно-упругих балок и пластин, что предоставляет возможность существенно сократить ресурсы при вибрационном анализе и моделировании указанных элементов конструкций. Кроме того, в работе показано, что предложенные критерии линеаризации позволяют производить оценку величины собственных частот с одинаковой точностью.

Поскольку в общем случае даже изотропные материалы проявляют разную сопротивляемость растяжению и сжатию, в качестве кривых деформирования компонент композиционного материала в работе впервые рассматриваются кусочно-линейные диаграммы Прандтля с различающимися пределами пропорциональности и касательными модулями Юнга при растяжении и сжатии. В качестве параметров диа- граммы деформирования слоистых материалов рассматриваются эффективные характеристики по Фойгту при гипотезе об однородности деформаций (для продольно-слоистой структуры материла), по Рейссу при гипотезе об однородности напряжений (для поперечно-слоистой балки и аксиально-слоистой пластины). Кроме того, для структурно-неоднородного в среднем изотропного материала приведены эффективные модули Юнга и пределы пропорциональности, полученные с помощью ранее предложенного авторами метода гомогенизации. В качестве примера приведен расчет собственных частот колебаний двухфазных балок в зависимости от концентраций компонент их материала.

In the paper, it is represented a linearization method for the stress-strain curves of nonlinearly deformable beams and circular plates in order to generalize the pure bending vibration equations. It is considered composite, on average isotropic prismatic beams of a constant rectangular cross-section and circular plates of a constant thickness made of nonlinearly elastic materials. The technique consists in determining the approximate Young’s moduli from the initial stress-strain state of beam and plate subjected to the action of the bending moment.

The paper proposes two criteria for linearization: the equality of the specific potential energy of deformation and the minimization of the standard deviation in the state equation approximation. The method allows obtaining in the closed form the estimated value of the natural frequencies of layered and structurally heterogeneous, on average isotropic nonlinearly elastic beams and circular plates. This makes it possible to significantly reduce the resources in the vibration analysis and modeling of these structural elements. In addition, the paper shows that the proposed linearization criteria allow to estimate the natural frequencies with the same accuracy.

Since in the general case even isotropic materials exhibit different resistance to tension and compression, it is considered the piecewise-linear Prandtl’s diagrams with proportionality limits and tangential Young’s moduli that differ under tension and compression as the stress-strain curves of the composite material components. As parameters of the stress-strain curve, it is considered the effective Voigt’s characteristics (under the hypothesis of strain homogeneity) for a longitudinally layered material structure; the effective Reuss’ characteristics (under the hypothesis of strain homogeneity) for a transversely layered beam and an axially laminated plate. In addition, the effective Young’s moduli and the proportionality limits, obtained by the author’s homogenization method, are given for a structurally heterogeneous, on average isotropic material. As an example, it is calculated the natural frequencies of two-phase beams depending on the component concentrations.

Сейсмическая разведка является наиболее распространённым методом поиска и разведки месторождений полезных ископаемых: нефти и природного газа. Зародившись в начале XX века, она получила значительное развитие и в настоящий момент используется практически всеми сервисными нефтяными компаниями. Основными ее преимуществами являются приемлемая стоимость проведения полевых работ (по сравнению с бурением скважин) и точность восстановления характеристик подповерхностного пространства. Однако с открытием нетрадиционных месторождений (например, Арктический шельф, Баженовская свита) актуальной стала задача усовершенствования существующих и создания новых технологий обработки сейсмических данных. Значительное развитие в данном направлении возможно с использованием численного моделирования распространения сейсмических волн в реалистичных моделях геологического массива, поскольку реализуется возможность задания произвольной внутренней структуры среды с последующей оценкой синтетического сигнала-отклика.

Настоящая работа посвящена исследованию пространственных динамических процессов, протекающих в геологических средах, содержащих трещиноватые включения, в процессе сейсмической разведки. Авторами построена трехмерная модель слоистого массива, содержащего пласт из флюидонасыщенных трещин, позволяющая оценить сигнал-отклик при варьировании структуры неоднородного включения. Для описания физических процессов используется система уравнений линейно-упругого тела в частных производных второго порядка, которая решается численно сеточно-характеристическим методом на гексаэдральных расчетных сетках. При этом плоскости трещин выделяются на этапе построения расчетной сетки, в дальнейшем используется дополнительная корректировка, обеспечивающая корректный сейсмический отклик для параметров модели, характерных для геологических сред.

В работе получены площадные трехкомпонентные сейсмограммы с общим пунктом взрыва. На их основе проведена оценка влияния структуры трещиноватой среды на анизотропию сейсмического отклика, регистрируемого на дневной поверхности на различном удалении от источника. Установлено, что кинематические характеристики сигнала остаются постоянными, тогда как динамические характеристики для упорядоченных и неупорядоченных моделей могут различаться на десятки процентов.

Seismic survey process is the common method of prospecting and exploration of deposits: oil and natural gas. Invented at the beginning of the XX century, it has received significant development and is currently used by almost all service oil companies. Its main advantages are the acceptable cost of fieldwork (in comparison with drilling wells) and the accuracy of estimating the characteristics of the subsurface area. However, with the discovery of non-traditional deposits (for example, the Arctic shelf, the Bazhenov Formation), the task of improving existing and creating new seismic data processing technologies became important. Significant development in this direction is possible with the use of numerical simulation of the propagation of seismic waves in realistic models of the geological medium, since it is possible to specify an arbitrary internal structure of the medium with subsequent evaluation of the synthetic signal-response.

The present work is devoted to the study of spatial dynamic processes occurring in geological medium containing fractured inclusions in the process of seismic exploration. The authors constructed a three-dimensional model of a layered massif containing a layer of fluid-saturated cracks, which makes it possible to estimate the signal-response when the structure of the inhomogeneous inclusion is varied. To describe physical processes, we use a system of equations for a linearly elastic body in partial derivatives of the second order, which is solved numerically by a grid-characteristic method on hexahedral grid. In this case, the crack planes are identified at the stage of constructing the grid, and further an additional correction is used to ensure a correct seismic response for the model parameters typical for geological media.

In the paper, three-component area seismograms with a common explosion point were obtained. On their basis, the effect of the structure of a fractured medium on the anisotropy of the seismic response recorded on the day surface at a different distance from the source was estimated. It is established that the kinematic characteristics of the signal remain constant, while the dynamic characteristics for ordered and disordered models can differ by tens of percents.

В работе рассматривается применение технологии Message Passing Interface (MPI) для распараллеливания программного алгоритма, основанного на сеточно-характеристическом методе, применительно к численному решению уравнения линейной теории упругости. Данный алгоритм позволяет численно моделировать распространение динамических волновых возмущений в твердых деформируемых телах. К такого рода задачам относится решение прямой задачи распространения сейсмических волн, что представляет интерес в сейсмике и геофизике. Во снове решателя лежит сеточно-характеристический метод. В работе предложен способ уменьшения времени взаимодействия между процессами MPI в течение расчета. Это необходимо для того, чтобы можно было производить моделирование в сложных постановках, при этом сохраняя высокую эффективность параллелизма даже при большом количестве процессов. Решение проблемы эффективного взаимодействия представляет большой интерес, когда в расчете используется несколько расчетных сеток с произвольной геометрией контактов между ними. Сложность данной задачи возрастает, если допускается независимое распределение узлов расчетных сеток между процессами. В работе сформулирован обобщенный подход для обработки контактных условий в терминах переинтерполяции узлов из заданного участка одной сетки в определенную область второй сетки. Предложен эффективный способ распараллеливания и установления эффективных межпроцессорных коммуникаций. Приведены результаты работы реализованного программного кода: получены волновые поля и сейсмограммы как для 2D-, так и для 3D-постановок. Показано, что данный алгоритм может быть реализован в том числе на криволинейных расчетных сетках. Рассмотренные постановки демонстрируют возможность проведения расчета с учетом топографии среды и криволинейных контактов между слоями. Это позволяет получать более точные результаты, чем при расчете только с использованием декартовых сеток. Полученная эффективность распараллеливания — практически 100% вплоть до 4096 процессов (за основу отсчета взята версия, запущенная на 128 процессах). Дале наблюдается ожидаемое постепенное снижение эффективности. Скорость спада не велика, на 16384 процессах удается сохранить 80%-ную эффективность.

We consider an application of the Message Passing Interface (MPI) technology for parallelization of the program code which solves equation of the linear elasticity theory. The solution of this equation describes the propagation of elastic waves in demormable rigid bodies. The solution of such direct problem of seismic wave propagation is of interest in seismics and geophysics. Our implementation of solver uses grid-characteristic method to make simulations. We consider technique to reduce time of communication between MPI processes during the simulation. This is important when it is necessary to conduct modeling in complex problem formulations, and still maintain the high level of parallelism effectiveness, even when thousands of processes are used. A solution of the problem of effective communication is extremely important when several computational grids with arbirtrary geometry of contacts between them are used in the calculation. The complexity of this task increases if an independent distribution of the grid nodes between processes is allowed. In this paper, a generalized approach is developed for processing contact conditions in terms of nodes reinterpolation from a given section of one grid to a certain area of the second grid. An efficient way of parallelization and establishing effective interprocess communications is proposed. For provided example problems we provide wave fileds and seismograms for both 2D and 3D formulations. It is shown that the algorithm can be realized both on Cartesian and on structured (curvilinear) computational grids. The considered statements demonstrate the possibility of carrying out calculations taking into account the surface topographies and curvilinear geometry of curvilinear contacts between the geological layers. Application of curvilinear grids allows to obtain more accurate results than when calculating only using Cartesian grids. The resulting parallelization efficiency is almost 100% up to 4096 processes (we used 128 processes as a basis to find efficiency). With number of processes larger than 4096, an expected gradual decrease in efficiency is observed. The rate of decline is not great, so at 16384 processes the parallelization efficiency remains at 80%.

В данной работе рассматривается параллельный метод решения задач однофазной фильтрации в трещиноватой пористой среде, основанный на представлении трещин вложенными в расчетную сетку поверхностями и называемый в литературе моделью (или методом) вложенных дискретных трещин. В рамках модели пористая среда и крупные трещины представляются в виде двух независимых континуумов. Отличительной особенностью рассматриваемого подхода является то, что расчетная сетка не перестраивается под положение трещин, при этом для каждой ячейки, пересекаемой трещиной, вводится дополнительная степень свободы. Дискретизация потоков между введенными континуумами трещин и пористой среды использует преднасчитанные характеристики пересечения поверхностей трещин с трехмерной расчетной сеткой. При этом дискретизация потоков внутри пористой среды не зависит от потоков между континуумами. Это позволяет интегрировать модель в уже существующие симуляторы многофазных течений в пористых коллекторах и при этом точно описывать поведение течений вблизи трещин.

Ранее автором был предложен монотонный метод вложенных дискретных трещин, основанный на применении метода конечных объемов с нелинейными схемами дискретизации потоков внутри пористой среды: монотонной двухточечной схемы или компактной многоточечной схемы с дискретным принципом максимума. Было доказано, что дискретное решение полученной нелинейной задачи для системы «пористая среда + трещины» сохраняет неотрицательность или удовлетворяет дискретному принципу максимума в зависимости от выбора схемы дискретизации.

Данная работа является продолжением предыдущих исследований. Предложенный метод был параллелизован с помощью программной платформы INMOST и протестирован. Были использованы такие возможности INMOST, как сбалансированное распределение сетки по процессорам, масштабируемые методы решения разреженных распределенных систем линейных уравнений и другие. Были проведены параллельные расчеты, демонстрирующие хорошую масштабируемость при увеличении числа процессоров.

In this work, parallel method for solving single-phase flow problems in a fractured porous media is considered. Method is based on the representation of fractures by surfaces embedded into the computational mesh, and known as the embedded discrete fracture model. Porous medium and fractures are represented as two independent continua within the model framework. A distinctive feature of the considered approach is that fractures do not modify the computational grid, while an additional degree of freedom is introduced for each cell intersected by the fracture. Discretization of fluxes between fractures and porous medium continua uses the pre-calculated intersection characteristics of fracture surfaces with a three-dimensional computational grid. The discretization of fluxes inside a porous medium does not depend on flows between continua. This allows the model to be integrated into existing multiphase flow simulators in porous reservoirs, while accurately describing flow behaviour near fractures.

Previously, the author proposed monotonic modifications of the model using nonlinear finite-volume schemes for the discretization of the fluxes inside the porous medium: a monotonic two-point scheme or a compact multi-point scheme with a discrete maximum principle. It was proved that the discrete solution of the obtained nonlinear problem preserves non-negativity or satisfies the discrete maximum principle, depending on the choice of the discretization scheme.

This work is a continuation of previous studies. The previously proposed monotonic modification of the model was parallelized using the INMOST open-source software platform for parallel numerical modelling. We used such features of the INMOST as a balanced grid distribution among processors, scalable methods for solving sparse distributed systems of linear equations, and others. Parallel efficiency was demonstrated experimentally.

Представлена математическая модель, описывающая необратимые процессы поляризации и деформирования поликристаллических сегнетоэлектриков во внешних электрических и механических полях большой интенсивности, вследствие чего изменяется внутренняя структура и меняются свойства материала. Необратимые явления моделируются в трехмерной постановке для случая одновременного воздействия электрического поля и механических напряжений. Объектом исследования является представительный объем, в котором исследуются остаточные явления в виде возникающих индуцированных и необратимых частей вектора поляризации и тензора деформации. Основной задачей моделирования является построение определяющих соотношений, связывающих между собой вектор поляризации и тензор деформации, с одной стороны, и вектор электрического поля и тензор механических напряжений, с другой стороны. Рассмотрен общий случай, когда направление электрического поля может не совпадать ни с одним из главных направлений тензора механических напряжений. Для обратимых составляющих определяющие соотношения построены в виде линейных тензорных уравнений, в которых упругие и диэлектрические модули зависят от остаточной деформации, а пьезоэлектрические модули - от остаточной поляризации. Определяющие соотношения для необратимых частей строятся в несколько этапов. Вначале построена вспомогательная модель идеального или безгистерезисного случая, когда все векторы спонтанной поляризации могут поворачиваться в поле внешних сил без взаимного влияния друг на друга. Предложен способ подсчета результирующих значений предельно возможных значений поляризации и деформации идеального случая в виде поверхностных интегралов по единичной сфере с плотностью распределения, полученной из статистического закона Больцмана. Далее сделаны оценки энергетических затрат, необходимых для слома механизмов закрепления доменов, и подсчитана работа внешних полей в реальном и идеальном случаях. На основании этого выведен энергетический баланс и получены определяющие соотношения для необратимых составляющих в виде уравнений в дифференциалах. Разработана схема численного решения этих уравнений для определения текущих значений необратимых искомых характеристик в заданных электрических и механических полях. Для циклических нагрузок построены диэлектрические, деформационные и пьезоэлектрические гистерезисные кривые.

Разработанная модель может быть имплантирована в конечно-элементный комплекс для расчета неоднородных остаточных полей поляризации и деформирования с последующим определением физических модулей неоднородно поляризованной керамики как локально анизотропного тела.

A mathematical model describing the irreversible processes of polarization and deformation of polycrystalline ferroelectrics in external electric and mechanical fields of high intensity is presented, as a result of which the internal structure changes and the properties of the material change. Irreversible phenomena are modeled in a three-dimensional setting for the case of simultaneous action of an electric field and mechanical stresses. The object of the research is a representative volume in which the residual phenomena in the form of the induced and irreversible parts of the polarization vector and the strain tensor are investigated. The main task of modeling is to construct constitutive relations connecting the polarization vector and strain tensor, on the one hand, and the electric field vector and mechanical stress tensor, on the other hand. A general case is considered when the direction of the electric field may not coincide with any of the main directions of the tensor of mechanical stresses. For reversible components, the constitutive relations are constructed in the form of linear tensor equations, in which the modules of elasticity and dielectric permeability depend on the residual strain, and the piezoelectric modules depend on the residual polarization. The constitutive relations for irreversible parts are constructed in several stages. First, an auxiliary model was constructed for the ideal or unhysteretic case, when all vectors of spontaneous polarization can rotate in the fields of external forces without mutual influence on each other. A numerical method is proposed for calculating the resulting values of the maximum possible polarization and deformation values of an ideal case in the form of surface integrals over the unit sphere with the distribution density obtained from the statistical Boltzmann law. After that the estimates of the energy costs required for breaking down the mechanisms holding the domain walls are made, and the work of external fields in real and ideal cases is calculated. On the basis of this, the energy balance was derived and the constitutive relations for irreversible components in the form of equations in differentials were obtained. A scheme for the numerical solution of these equations has been developed to determine the current values of the irreversible required characteristics in the given electrical and mechanical fields. For cyclic loads, dielectric, deformation and piezoelectric hysteresis curves are plotted.

The developed model can be implanted into a finite element complex for calculating inhomogeneous residual polarization and deformation fields with subsequent determination of the physical modules of inhomogeneously polarized ceramics as a locally anisotropic body.

В работе сформулирована математическая модель гидроупругих колебаний пластины на нелинейно-упрочняющемся основании, взаимодействующей с пульсирующим слоем вязкой жидкости. В предложенной модели, в отличие от известных, совместно учтены упругие свойства пластины, нелинейность ее основания, а также диссипативные свойства жидкости и инерция ее движения. Модель представлена системой уравнений двумерной задачи гидроупругости, включающей: уравнение динамики пластины Кирхгофа на упругом основании с жесткой кубической нелинейностью, уравнения Навье – Стокса, уравнение неразрывности, краевые условия для прогибов пластины, давления жидкости на торцах пластины, а также для скоростей движения жидкости на границах контакта жидкости и ограничивающих ее стенок. Исследование модели проведено методом возмущений с последующим использованием метода итерации для уравнений тонкого слоя вязкой жидкости. В результате определен закон распределения давления жидкости на поверхности пластины и осуществлен переход к интегро-дифференциальному уравнению изгибных гидроупругих колебаний пластины. Данное уравнение решено методом Бубнова – Галёркина с применением метода гармонического баланса для определения основного гидроупругого отклика пластины и фазового сдвига. Показано, что исходная задача может быть сведена к исследованию обобщенного уравнения Дуффинга, в котором коэффициенты при инерционных, диссипативных и жесткостных членах определяются физико-механическими параметрами исходной системы. Найдены основной гидроупругий отклик пластины и фазовый сдвиг, проведено их численное исследование при учете инерции движения жидкости и для ползущего движения жидкости при нелинейно- и линейно-упругом основании пластины. Результаты расчетов показали необходимостьу чета вязкости жидкости и инерции ее движения совместно с упругими свойствами пластины и ее основания как для нелинейных колебаний, так и для линейных колебаний пластины.

The paper formulates a mathematical model for hydroelastic oscillations of a plate resting on a nonlinear hardening elastic foundation and interacting with a pulsating fluid layer. The main feature of the proposed model, unlike the wellknown ones, is the joint consideration of the elastic properties of the plate, the nonlinearity of elastic foundation, as well as the dissipative properties of the fluid and the inertia of its motion. The model is represented by a system of equations for a twodimensional hydroelasticity problem including dynamics equation of Kirchhoff’s plate resting on the elastic foundation with hardening cubic nonlinearity, Navier – Stokes equations, and continuity equation. This system is supplemented by boundary conditions for plate deflections and fluid pressure at plate ends, as well as for fluid velocities at the bounding walls. The model was investigated by perturbation method with subsequent use of iteration method for the equations of thin layer of viscous fluid. As a result, the fluid pressure distribution at the plate surface was obtained and the transition to an integrodifferential equation describing bending hydroelastic oscillations of the plate is performed. This equation is solved by the Bubnov –Galerkin method using the harmonic balance method to determine the primary hydroelastic response of the plate and phase response due to the given harmonic law of fluid pressure pulsation at plate ends. It is shown that the original problem can be reduced to the study of the generalized Duffing equation, in which the coefficients at inertial, dissipative and stiffness terms are determined by the physical and mechanical parameters of the original system. The primary hydroelastic response and phases response for the plate are found. The numerical study of these responses is performed for the cases of considering the inertia of fluid motion and the creeping fluid motion for the nonlinear and linearly elastic foundation of the plate. The results of the calculations showed the need to jointly consider the viscosity and inertia of the fluid motion together with the elastic properties of the plate and its foundation, both for nonlinear and linear vibrations of the plate.

В данной работе рассматриваются формулы Рэлея, полученные из интегральных формул Кирхгофа, которые в дальнейшем могут быть применены для получения миграционных изображений. Актуальность проведенных в работе исследований обусловлена распространенностью применения миграции в интересах сейсмической разведки нефти и газа. Предлагаемый подход позволит существенно повысить качество сейсмической разведки в сложных случаях, таких как вечная мерзлота и шельфовые зоны южных и северных морей. Особенностью работы является использование упругого приближения для описания динамического поведения геологической среды, в отличие от широко распространенного акустического приближения. Сложность применения системы уравнений, описывающей состояние линейно-упругой среды, для получения формул Рэлея и алгоритмов на их основе возникает из-за значительного роста количества вычислений, математической и аналитической сложности итоговых алгоритмов по сравнению со случаем акустической среды. Поэтому в промышленной сейсморазведке в настоящий момент не используют алгоритмы миграции для случая упругих волн, что создает определенные трудности, так как акустическое приближение описывает только продольные сейсмические волны в геологических средах. В данной статье представлены итоговые аналитические выражения, которые можно использовать для разработки программных комплексов, используя описание упругих сейсмических волн (продольных и поперечных), тем самым охватывая весь диапазон сейсмических волн (продольных отраженных PP-волн, продольных отраженных SP-волн, поперечных отраженных PS-волн и поперечных отраженных SS-волн). Также в работе приведены результаты сравнения численных решений, полученных на основе формул Рэлея, с численными решениями, полученными сеточно-характеристическим методом. Ценность такого сравнения обусловлена тем, что метод на основе интегралов Рэлея основан на аналитических выражениях, в то время как сеточно-характеристический метод является методом численного интегрирования решения по расчетной сетке. В проведенном сравнении рассматривались различные типы источников: модель точечного источника, широко используемого в морской и наземной сейсморазведке, и модель плоской волны, которую также иногда применяют в полевых исследованиях.

In this paper we present Rayleigh formulas obtained from Kirchhoff integral formulas, which can later be used to obtain migration images. The relevance of the studies conducted in the work is due to the widespread use of migration in the interests of seismic oil and gas seismic exploration. A special feature of the work is the use of an elastic approximation to describe the dynamic behaviour of a geological environment, in contrast to the widespread acoustic approximation. The proposed approach will significantly improve the quality of seismic exploration in complex cases, such as permafrost and shelf zones of the southern and northern seas. The complexity of applying a system of equations describing the state of a linear-elastic medium to obtain Rayleigh formulas and algorithms based on them is a significant increase in the number of computations, the mathematical and analytical complexity of the resulting algorithms in comparison with the case of an acoustic medium. Therefore in industrial seismic surveys migration algorithms for the case of elastic waves are not currently used, which creates certain difficulties, since the acoustic approximation describes only longitudinal seismic waves in geological environments. This article presents the final analytical expressions that can be used to develop software systems using the description of elastic seismic waves: longitudinal and transverse, thereby covering the entire range of seismic waves: longitudinal reflected PP-waves, longitudinal reflected SP-waves, transverse reflected PS-waves and transverse reflected SS-waves. Also, the results of comparison of numerical solutions obtained on the basis of Rayleigh formulas with numerical solutions obtained by the grid-characteristic method are presented. The value of this comparison is due to the fact that the method based on Rayleigh integrals is based on analytical expressions, while the grid-characteristic method is a method of numerical integration of solutions based on a calculated grid. In the comparison, different types of sources were considered: a point source model widely used in marine and terrestrial seismic surveying and a flat wave model, which is also sometimes used in field studies.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В работе построена и исследуется обобщенная модель, описывающая двухкомпонентные системы реакционно-диффузионного типа со степенной нелинейностью и учитывающая влияние внешних шумов. Для анализа обобщенной модели разработана методология, включающая в себя линейный анализ устойчивости, нелинейный анализ устойчивости и численное моделирование эволюции системы. Методика проведения линейного анализа опирается на базовые подходы, в которых для получения характеристического уравнения используется матрица линеаризации. Нелинейный анализ устойчивости проводится с точностью до моментов третьего порядка включительно. Для этого функции, описывающие динамику компонент, раскладываются в ряд Тейлора до слагаемых третьего порядка. Затем с помощью теоремы Новикова проводится процедура усреднения. В результате полученные уравнения образуют бесконечную иерархично подчиненную структуру, которую в определенный момент необходимо прервать. Для этого пренебрегаем вкладом слагаемых выше третьего порядка как в самих уравнениях, так и при построении уравнений моментов. Полученные уравнения образуют набор линейных уравнений, из которых формируется матрица устойчивости. Эта матрица имеет довольно сложную структуру, в связи с чем ее решение может быть получено только численно. Для проведения численного исследования эволюции системы выбран метод переменных направлений. Из-за наличия в анализируемой системе стохастической части метод был модифицирован таким образом, что на целых слоях проводится генерация случайных полей с заданным распределением и функцией корреляции, отвечающих за шумовой вклад в общую нелинейность. Апробация разработанной методологии проведена на предложенной Barrio et al. модели реакции – диффузии, по результатам исследования которой им показана схожесть получаемых структур с пигментацией рыб. В настоящей работе внимание сосредоточено на анализе поведения системы в окрестности ненулевой стационарной точки. Изучена зависимость действительной части собственных значений от волнового числа. В линейном анализе получена область значений волновых чисел, при которых возникает неустойчивость Тьюринга. Нелинейный анализ и численное моделирование эволюции системы проводятся для параметров модели, которые, напротив, находятся вне области неустойчивости Тьюринга. В рамках нелинейного анализа найдены интенсивности аддитивного шума, при которых, несмотря на отсутствие условий для возникновения диффузионной неустойчивости, система переходит в неустойчивое состояние. Результаты численного моделирования эволюции апробируемой модели демонстрируют процесс образования пространственных структур тьюрингового типа при воздействии на нее аддитивного шума.

The paper constructs and studies a generalized model describing two-component systems of reaction – diffusion type with power nonlinearity, considering the influence of external noise. A methodology has been developed for analyzing the generalized model, which includes linear stability analysis, nonlinear stability analysis, and numerical simulation of the system’s evolution. The linear analysis technique uses basic approaches, in which the characteristic equation is obtained using a linearization matrix. Nonlinear stability analysis realized up to third-order moments inclusively. For this, the functions describing the dynamics of the components are expanded in Taylor series up to third-order terms. Then, using the Novikov theorem, the averaging procedure is carried out. As a result, the obtained equations form an infinite hierarchically subordinate structure, which must be truncated at some point. To achieve this, contributions from terms higher than the third order are neglected in both the equations themselves and during the construction of the moment equations. The resulting equations form a set of linear equations, from which the stability matrix is constructed. This matrix has a rather complex structure, making it solvable only numerically. For the numerical study of the system’s evolution, the method of variable directions was chosen. Due to the presence of a stochastic component in the analyzed system, the method was modified such that random fields with a specified distribution and correlation function, responsible for the noise contribution to the overall nonlinearity, are generated across entire layers. The developed methodology was tested on the reaction – diffusion model proposed by Barrio et al., according to the results of the study, they showed the similarity of the obtained structures with the pigmentation of fish. This paper focuses on the system behavior analysis in the neighborhood of a non-zero stationary point. The dependence of the real part of the eigenvalues on the wavenumber has been examined. In the linear analysis, a range of wavenumber values is identified in which Turing instability occurs. Nonlinear analysis and numerical simulation of the system’s evolution are conducted for model parameters that, in contrast, lie outside the Turing instability region. Nonlinear analysis found noise intensities of additive noise for which, despite the absence of conditions for the emergence of diffusion instability, the system transitions to an unstable state. The results of the numerical simulation of the evolution of the tested model demonstrate the process of forming spatial structures of Turing type under the influence of additive noise.

Статья посвящена описанию процесса миграции некоторой популяции с учетом пространственной неоднородности локальной емкости экологической ниши. Предполагается, что эта пространственная неоднородность обусловлена различными природными или искусственными факторами. Математическая модель рассматриваемого процесса миграции представляет собой задачу Коши на прямой для некоторого квазилинейного уравнения в частных производных первого порядка, которому удовлетворяет линейная плотность численности рассматриваемой популяции. В данной работе найдено общее решение этой задачи Коши для произвольной зависимости локальной емкости экологической ниши от пространственной координаты. Это общее решение было применено для описания миграции рассматриваемой популяции в двух различных случаях: в случае зависимости локальной емкости экологической ниши от пространственной координаты в виде гладкой ступеньки и в случае холмообразной зависимости локальной емкости экологической ниши от пространственной координаты. В обоих случаях решение задачи Коши выражается через высшие трансцендентные функции. Наложением специальных соотношений на параметры модели эти высшие трансцендентные функции сводятся к элементарным функциям, что позволяет получить точные решения модели в явном виде, выраженные через элементарные функции. С помощью этих точных решений реализована обширная программа вычислительных экспериментов, показывающих, как начальная плотность популяции гауссовской формы рассеивается на рассмотренных двух видах пространственной неоднородности локальной емкости экологической ниши. Эти вычислительные эксперименты показали, что при прохождении и через ступенеобразную, и через холмообразную пространственную неоднородность локальной емкости экологической ниши с узкой, по сравнению с характерным пространственным масштабом этих неоднородностей, шириной гауссоиды ее начальной плотности система забывает свое начальное состояние. В частности, если интерпретировать исследуемую систему как популяцию, обитающую в протяженной спокойной прямолинейной реке вдоль ее русла, то можно утверждать, что при таком начальном условии после того, как течение этой реки пронесет рассматриваемую популяцию через область пространственной неоднородности локальной емкости экологической ниши, плотность численности популяции становится квазипрямоугольной функцией.

The article describes the migration process of a certain population, taking into account the spatial heterogeneity of the local capacity of the ecological niche. It is assumed that this spatial heterogeneity is caused by various natural or artificial factors. The mathematical model of the migration process under consideration is a Cauchy problem on a straight line for some quasi-linear partial differential equation of the first order, which is satisfied by the linear population density under consideration. In this paper, a general solution to this Cauchy problem is found for an arbitrary dependence of the local capacity of an ecological niche on the spatial coordinate. This general solution was applied to describe the migration of the population in question in two different cases: in the case of a dependence of the local capacity of the ecological niche on the spatial coordinate in the form of a smooth step and in the case of a hill-like dependence of the local capacity of the ecological niche on the spatial coordinate. In both cases, the solution to the Cauchy problem is expressed in terms of higher transcendental functions. By applying special relations to the model parameters, these higher transcendental functions are reduced to elementary functions, which makes it possible to obtain exact model solutions explicitly expressed in terms of elementary functions. With the help of these precise solutions, an extensive program of computational experiments has been implemented, showing how the initial population density of the Gaussian form is dispersed by the considered two types of spatial heterogeneity of the local capacity of the ecological niche. These computational experiments have shown that when passing through both step-like and hill-like spatial inhomogeneities of the local capacity of an ecological niche with a narrow Gaussian width of its initial density compared to the characteristic spatial scale of these inhomogeneities, the system forgets its initial state. In particular, if we interpret the system under study as a population living in an extended calm rectilinear river along its bed, then it can be argued that under this initial condition, after the current of this river carries the population under consideration through the area of spatial heterogeneity of the local capacity of the ecological niche, the population density becomes a quasi-rectangular function.