Все выпуски

Математические модели газовой динамики и ее вычислительная индустрия, на наш взгляд, далеки от совершенства. Мы посмотрим на эту проблематику с точки зрения ясной вероятностной микромодели газа из твердых сфер, опираясь как на теорию случайных процессов, так и на классическую кинетическую теорию в терминах плотностей функций распределения в фазовом пространстве; а именно, построим сначала систему нелинейных стохастических дифференциальных уравнений (СДУ), а затем обобщенное случайное и неслучайное интегро-дифференциальное уравнение Больцмана с учетом корреляций и флуктуаций. Ключевыми особенностями исходной модели являются случайный характер интенсивности скачкообразной меры и ее зависимость от самого процесса.

Кратко напомним переход ко все более грубым мезо-макроприближениям в соответствии с уменьшением параметра обезразмеривания, числа Кнудсена. Получим стохастические и неслучайные уравнения, сначала в фазовом пространстве (мезомодель в терминах СДУ по винеров- ским мерам и уравнения Колмогорова – Фоккера – Планка), а затем в координатном пространстве (макроуравнения, отличающиеся от системы уравнений Навье – Стокса и систем квазигазодинамики). Главным отличием этого вывода является более точное осреднение по скорости благодаря аналитическому решению стохастических дифференциальных уравнений по винеровской мере, в виде которых представлена промежуточная мезомодель в фазовом пространстве. Такой подход существенно отличается от традиционного, использующего не сам случайный процесс, а его функцию распределения. Акцент ставится на прозрачности допущений при переходе от одного уровня детализации к другому, а не на численных экспериментах, в которых содержатся дополнительные погрешности аппроксимации.

Теоретическая мощь микроскопического представления макроскопических явлений важна и как идейная опора методов частиц, альтернативных разностным и конечно-элементным.

Mathematical models of gas dynamics and its computational industry, in our opinion, are far from perfect. We will look at this problem from the point of view of a clear probabilistic micro-model of a gas from hard spheres, relying on both the theory of random processes and the classical kinetic theory in terms of densities of distribution functions in phase space, namely, we will first construct a system of nonlinear stochastic differential equations (SDE), and then a generalized random and nonrandom integro-differential Boltzmann equation taking into account correlations and fluctuations. The key feature of the initial model is the random nature of the intensity of the jump measure and its dependence on the process itself.

Briefly recall the transition to increasingly coarse meso-macro approximations in accordance with a decrease in the dimensionalization parameter, the Knudsen number. We obtain stochastic and non-random equations, first in phase space (meso-model in terms of the Wiener — measure SDE and the Kolmogorov – Fokker – Planck equations), and then — in coordinate space (macro-equations that differ from the Navier – Stokes system of equations and quasi-gas dynamics systems). The main difference of this derivation is a more accurate averaging by velocity due to the analytical solution of stochastic differential equations with respect to the Wiener measure, in the form of which an intermediate meso-model in phase space is presented. This approach differs significantly from the traditional one, which uses not the random process itself, but its distribution function. The emphasis is placed on the transparency of assumptions during the transition from one level of detail to another, and not on numerical experiments, which contain additional approximation errors.

The theoretical power of the microscopic representation of macroscopic phenomena is also important as an ideological support for particle methods alternative to difference and finite element methods.

В данной работе рассматриваются различные подходы к усреднению обобщенных цен передвижений, рассчитанных для разных способов передвижения в транспортной сети. Под способом передвижения понимается как вид транспорта, например легковой автомобиль или транспорт общего пользования, так и передвижение без использования транспорта, например пешком. Задача расчета матриц передвижений включает в себя задачу вычисления суммарных матриц, иными словами — оценку общего спроса на передвижения всеми способами, а также задачу расщепления матриц по способам передвижений, называемого также модальным расщеплением. Для расчета матриц передвижений используют гравитационные, энтропийные и иные модели, в которых вероятность передвижения между районами оценивается на основе некоторой меры удаленности этих районов друг от друга. Обычно в качестве меры дальности используется обобщенная цена передвижения по оптимальному пути между районами. Однако обобщенная цена передвижения отличается для разных способов передвижения. При расчете суммарных матриц передвижений возникает необходимость усреднения обобщенных цен по способам передвижения. К процедуре усреднения предъявляется естественное требование монотонности по всем аргументам. Этому требованию не удовлетворяют некоторые часто применяемые на практике способы усреднения, например усреднение с весами. Задача модального расщепления решается применением методов теории дискретного выбора. В частности, в рамках теории дискретного выбора разработаны корректные методы усреднения полезности альтернатив, монотонные по всем аргументам. Авторы предлагают некоторую адаптацию методов теории дискретного выбора для применения к вычислению усредненной цены передвижений в гравитационной и энтропийной моделях. Перенос формул усреднения из контекста модели модального расщепления в модель расчета матриц передвижений требует ввода новых параметров и вывода условий на возможное значение этих параметров, что и было проделано в данной статье. Также были рассмотрены вопросы перекалибровки гравитационной функции, необходимой при переходе на новый метод усреднения, если имеющаяся функция откалибрована с учетом использования средневзвешенной цены. Предложенные методики были реализованы на примере небольшого фрагмента транспортной сети. Приведены результаты расчетов, демонстрирующие преимущество предложенных методов.

This paper considers various approaches to averaging the generalized travel costs calculated for different modes of travel in the transportation network. The mode of transportation is understood to mean both the mode of transport, for example, a car or public transport, and movement without the use of transport, for example, on foot. The task of calculating the trip matrices includes the task of calculating the total matrices, in other words, estimating the total demand for movements by all modes, as well as the task of splitting the matrices according to the mode, also called modal splitting. To calculate trip matrices, gravitational, entropy and other models are used, in which the probability of movement between zones is estimated based on a certain measure of the distance of these zones from each other. Usually, the generalized cost of moving along the optimal path between zones is used as a distance measure. However, the generalized cost of movement differs for different modes of movement. When calculating the total trip matrices, it becomes necessary to average the generalized costs by modes of movement. The averaging procedure is subject to the natural requirement of monotonicity in all arguments. This requirement is not met by some commonly used averaging methods, for example, averaging with weights. The problem of modal splitting is solved by applying the methods of discrete choice theory. In particular, within the framework of the theory of discrete choice, correct methods have been developed for averaging the utility of alternatives that are monotonic in all arguments. The authors propose some adaptation of the methods of the theory of discrete choice for application to the calculation of the average cost of movements in the gravitational and entropy models. The transfer of averaging formulas from the context of the modal splitting model to the trip matrix calculation model requires the introduction of new parameters and the derivation of conditions for the possible value of these parameters, which was done in this article. The issues of recalibration of the gravitational function, which is necessary when switching to a new averaging method, if the existing function is calibrated taking into account the use of the weighted average cost, were also considered. The proposed methods were implemented on the example of a small fragment of the transport network. The results of calculations are presented, demonstrating the advantage of the proposed methods.

Цель настоящего исследования — показать, как инженерные идеи и подходы работают в клинической реставрационной стоматологии и позволяют оптимизировать выбор реставрационной конструкции с позиции ее долговечности. В работе построена трехмерная компьютерная модель центрального резца верхней челюсти, включающая элементы твердых тканей зуба, поддерживающих его структур и реставрационной конструкции, и проведены вариативные расчеты напряженно-деформированных состояний восстановленного зуба при различных видах реставрационных конструкций в условиях нормальной окклюзионной нагрузки. Методами численного эксперимента изучено влияние применения различных адгезивных технологий при фиксации армирующего элемента в корневом канале на функциональные характеристики реставрированного зуба. Разработанные трехмерные модели могут быть применены на этапе доклинической диагностики с целью определения областей вероятной деструкции восстановленного зуба и предсказания сроков его службы.

The aim of the present study is to show how engineering approaches and ideas work in clinical restorative dentistry, in particular, how they affect the restoration design and durability of restored endodontically treated teeth. For these purposes a 3D-computational model of a first incisor including the elements of hard tooth tissues, periodontal ligament, surrounding bone structures and restoration itself has been constructed and numerically simulated for a variety of restoration designs under normal chewing loadings. It has been researched the effect of different adhesive technologies in root canal on the functional characteristics of a restored tooth. The 3D model designed could be applied for preclinical diagnostics to determine the areas of possible fractures of a restored tooth and prognosticate its longevity.

Работа посвящена проблеме анализа эффектов, связанных с воздействием аддитивного и параметрического шума на процессы, происходящие в нервной клетке. Это исследование проводится на примере известной модели Моррис–Лекара, которая описывается двумерной системой обыкновенных дифференциальных уравнений. Одним из основных свойств нейрона является возбудимость — способность отвечать на внешнее воздействие резким изменением электрического потенциала на мембране клетки. В данной статье рассматривается набор параметров, при котором модель демонстрирует возбудимость класса 2. Динамика системы исследуется при изменении параметра внешнего тока. Рассматриваются две параметрические зоны: зона моностабильности, в которой единственным аттрактором детерминированной системы является устойчивое равновесие, и зона бистабильности, характеризующаяся сосуществованием устойчивого равновесия и предельного цикла. Показывается, что в обоих случаях под действием шума в системе генерируются колебания смешанных мод (т. е. чередование колебаний малых и больших амплитуд). В зоне моностабильности данный феномен связан с высокой возбудимостью системы, а в зоне бистабильности он объясняется индуцированными шумом переходами между аттракторами. Это явление подтверждается изменениями плотности распределения случайных траекторий, спектральной плотности и статистиками межспайковых интервалов. Проводится сравнение действия аддитивного и параметрического шума. Показывается, что при добавлении параметрического шума стохастическая генерация колебаний смешанных мод наблюдается при меньших интенсивностях, чем при воздействии аддитивного шума. Для количественного анализа этих стохастических феноменов предлагается и применяется подход, основанный на технике функций стохастической чувствительности и методе доверительных областей. В случае устойчивого равновесия это эллипс, а для устойчивого предельного цикла такой областью является доверительная полоса. Исследование взаимного расположения доверительных областей и границы, разделяющей бассейны притяжения аттракторов, при изменении параметров шума позволяет предсказать возникновение индуцированных шумом переходов. Эффективность данного аналитического подхода подтверждается хорошим соответствием теоретических оценок с результатами прямого численного моделирования.

This paper is devoted to the analysis of the effect of additive and parametric noise on the processes occurring in the nerve cell. This study is carried out on the example of the well-known Morris – Lecar model described by the two-dimensional system of ordinary differential equations. One of the main properties of the neuron is the excitability, i.e., the ability to respond to external stimuli with an abrupt change of the electric potential on the cell membrane. This article considers a set of parameters, wherein the model exhibits the class 2 excitability. The dynamics of the system is studied under variation of the external current parameter. We consider two parametric zones: the monostability zone, where a stable equilibrium is the only attractor of the deterministic system, and the bistability zone, characterized by the coexistence of a stable equilibrium and a limit cycle. We show that in both cases random disturbances result in the phenomenon of the stochastic generation of mixed-mode oscillations (i. e., alternating oscillations of small and large amplitudes). In the monostability zone this phenomenon is associated with a high excitability of the system, while in the bistability zone, it occurs due to noise-induced transitions between attractors. This phenomenon is confirmed by changes of probability density functions for distribution of random trajectories, power spectral densities and interspike intervals statistics. The action of additive and parametric noise is compared. We show that under the parametric noise, the stochastic generation of mixed-mode oscillations is observed at lower intensities than under the additive noise. For the quantitative analysis of these stochastic phenomena we propose and apply an approach based on the stochastic sensitivity function technique and the method of confidence domains. In the case of a stable equilibrium, this confidence domain is an ellipse. For the stable limit cycle, this domain is a confidence band. The study of the mutual location of confidence bands and the boundary separating the basins of attraction for different noise intensities allows us to predict the emergence of noise-induced transitions. The effectiveness of this analytical approach is confirmed by the good agreement of theoretical estimations with results of direct numerical simulations.

В статье предлагается метод совместного анализа многомерных финансовых временных рядов, основанный на оценке набора свойств котировок акций в скользящем временном окне и последующем усреднении значений свойств по всем анализируемым компаниям. Основной целью анализа является построение мер совместного поведения временных рядов, реагирующих на возникновение синхронной или когерентной составляющей. Когерентность поведения характеристик сложной системы является важным признаком, позволяющим оценить приближение системы к резким изменениям своего состояния. Фундаментом для поиска предвестников резких изменений является общая идея увеличения корреляции случайных флуктуаций параметров системы по мере ее приближения к критическому состоянию. Приращения временных рядов стоимостей акций имеют выраженный хаотический характер и обладают большой амплитудой индивидуальных помех, на фоне которых слабый общий сигнал может быть выделен лишь на основе его коррелированности в разных скалярных компонентах многомерного временного ряда. Известно, что классические методы анализа, основанные на использовании корреляций между соседними отсчетами, являются малоэффективными при обработке финансовых временных рядов, поскольку с точки зрения корреляционной теории случайных процессов приращения стоимости акций формально имеют все признаки белого шума (в частности, «плоский спектр» и «дельта-образную» автокорреляционную функцию). В связи с этим предлагается перейти от анализа исходных сигналов к рассмотрению последовательностей их нелинейных свойств, вычисленных во временных фрагментах малой длины. В качестве таких свойств используются энтропия вейвлет-коэффициентов при разложении в базис Добеши, показатели мультифрактальности и авторегрессионная мера нестационарности сигнала. Построены меры син- хронного поведения свойств временных рядов в скользящем временном окне с использованием метода главных компонент, значений модулей всех попарных коэффициентов корреляции и множественной спектральной меры когерентности, являющейся обобщением квадратичного спектра когерентности между двумя сигналами. Исследованы акции 16 крупных российских компаний с начала 2010 по конец 2016 годов. С помощью предложенного метода идентифицированы два интервала времени синхронизации российского фондового рынка: с середины декабря 2013 г. по середину марта 2014 г. и с середины октября 2014 г. по середину января 2016 г.

The article proposes a method of joint analysis of multidimensional financial time series based on the evaluation of the set of properties of stock quotes in a sliding time window and the subsequent averaging of property values for all analyzed companies. The main purpose of the analysis is to construct measures of joint behavior of time series reacting to the occurrence of a synchronous or coherent component. The coherence of the behavior of the characteristics of a complex system is an important feature that makes it possible to evaluate the approach of the system to sharp changes in its state. The basis for the search for precursors of sharp changes is the general idea of increasing the correlation of random fluctuations of the system parameters as it approaches the critical state. The increments in time series of stock values have a pronounced chaotic character and have a large amplitude of individual noises, against which a weak common signal can be detected only on the basis of its correlation in different scalar components of a multidimensional time series. It is known that classical methods of analysis based on the use of correlations between neighboring samples are ineffective in the processing of financial time series, since from the point of view of the correlation theory of random processes, increments in the value of shares formally have all the attributes of white noise (in particular, the “flat spectrum” and “delta-shaped” autocorrelation function). In connection with this, it is proposed to go from analyzing the initial signals to examining the sequences of their nonlinear properties calculated in time fragments of small length. As such properties, the entropy of the wavelet coefficients is used in the decomposition into the Daubechies basis, the multifractal parameters and the autoregressive measure of signal nonstationarity. Measures of synchronous behavior of time series properties in a sliding time window are constructed using the principal component method, moduli values of all pairwise correlation coefficients, and a multiple spectral coherence measure that is a generalization of the quadratic coherence spectrum between two signals. The shares of 16 large Russian companies from the beginning of 2010 to the end of 2016 were studied. Using the proposed method, two synchronization time intervals of the Russian stock market were identified: from mid-December 2013 to mid- March 2014 and from mid-October 2014 to mid-January 2016.

Статья посвящена эффекту тепловой обратной связи, возникающему при функционировании интегральных микросхем и электронных систем, использующих микросхемы. Тепловая обратная связь обусловливается тем, что потребляемая при функционировании микросхемы мощность нагревает ее и, в силу значительной зависимости ее электрических параметров от температуры, между ее электрическими и тепловыми процессами возникает интерактивное взаимодействие. Воздействие тепловой обратной связи приводит к изменению как электрических параметров, так и уровней температуры в микросхемах. Положительная тепловая обратная связь представляет собой нежелательное явление, поскольку является причиной выхода электрических параметров микросхем за пределы допустимых значений, снижения надежности и, в ряде случаев, выгорания. Отрицательная тепловая обратная связь проявляется в стабилизации электрического и теплового режимов при пониженных уровнях температуры. Поэтому при проектировании микросхем и электронных систем с их применением необходимо добиваться реализации отрицательной обратной связи. В настоящей работе предлагается метод моделирования теплового режима электронных систем с учетом воздействия тепловой обратной связи. Метод основан на введении в тепловую модель электронной системы новых модельных схемных элементов, нелинейно зависящих от температуры, количество которых равно количеству микросхем в электронной системе. Такой подход позволяет применять к тепловой модели с введенными в нее новыми схемными элементами матрично-топологические уравнения тепловых процессов и включать их в существующие программные комплексы теплового проектирования. Приведен пример моделирования теплового процесса в реальной электронной системе с учетом воздействия тепловой обратной связи на примере микросхемы, установленной на печатной плате. Показано, что для адекватного моделирования электрических и тепловых процессов микросхем и электронных систем необходимо во избежание ошибок проектирования и создания конкурентоспособных электронных систем учитывать воздействие тепловой обратной связи.

The article is devoted to the effect of thermal feedback, which occurs during the operation of integrated circuits and electronic systems with their use. Thermal feedback is due to the fact that the power consumed by the functioning of the microchip heats it and, due to the significant dependence of its electrical parameters on temperature, interactive interaction arises between its electrical and thermal processes. The effect of thermal feedback leads to a change in both electrical parameters and temperature levels in microcircuits. Positive thermal feedback is an undesirable phenomenon, because it causes the output of the electrical parameters of the microcircuits beyond the permissible values, the reduction in reliability and, in some cases, burn out. Negative thermal feedback is manifested in stabilizing the electrical and thermal regimes at lower temperature levels. Therefore, when designing microcircuits and electronic systems with their application, it is necessary to achieve the implementation of negative feedback. In this paper, we propose a method for modeling of thermal modes in electronic systems, taking into account the effect of thermal feedback. The method is based on introducing into the thermal model of the electronic system new model circuit elements that are nonlinearly dependent on temperature, the number of which is equal to the number of microcircuits in the electronic system. This approach makes it possible to apply matrix-topological equations of thermal processes to the thermal model with new circuit elements introduced into it and incorporate them into existing thermal design software packages. An example of modeling a thermal process in a real electronic system is presented, taking into account the effect of thermal feedback on the example of a microcircuit installed on a printed circuit board. It is shown that in order to adequately model the electrical and thermal processes of microcircuits and electronic systems, it is necessary to take into account the effects of thermal feedback in order to avoid design errors and create competitive electronic systems.

В статье представлен обзор недавних работ по гибридным дискретно-непрерывным моделям в динамике клеточных популяций. В этих моделях, широко используемых в биологическом моделировании, клетки рассматриваются как отдельные объекты, которые могут делиться, умирать, дифференцироваться и двигаться под воздействием внешних сил. В простейшем представлении клетки рассматриваются как мягкие сферы, их движение описывается вторым законом Ньютона для их центров. В более полном представлении могут учитываться геометрия и структура клеток. Судьба клеток определяется концентрациями внутриклеточных веществ и различных веществ во внеклеточном матриксе, таких как питательные вещества, гормоны, факторы роста. Внутриклеточные регуляторные сети описываются обыкновенными дифференциальными уравнениями, а внеклеточные концентрации — уравнениями в частных производных. Мы проиллюстрируем применение этого подхода некоторыми примерами, в том числе бактериальными филаметами и ростом раковойоп ухоли. Далее будут приведены более детальные исследования эритропоэза и иммунного ответа. Эритроциты произодятся в костном мозге в небольших структурах, называемых эритробластными островками. Каждыйо стровок образован центральным макрофагом, окруженным эритроидными предшественниками на разных стадиях зрелости. Их выбор между самообновлением, дифференцировкойи апоптозом определяется регуляцией ERK/Fas и фактором роста, производимым макрофагами. Нормальное функционирование эритропоэза может быть нарушено развитием множественной миеломы, злокачественного заболевания крови, которое приводит к разрушению эритробластических островков и к развитию анемии. Последняя часть работы посвящена применению гибридных моделей для изучения иммунного ответа и развития вируснойинф екции. Представлена двухмасштабная модель, включающая лимфатическийу зел и другие ткани организма, включая кровеносную систему.

The paper presents a review of recent developments of hybrid discrete-continuous models in cell population dynamics. Such models are widely used in the biological modelling. Cells are considered as individual objects which can divide, die by apoptosis, differentiate and move under external forces. In the simplest representation cells are considered as soft spheres, and their motion is described by Newton’s second law for their centers. In a more complete representation, cell geometry and structure can be taken into account. Cell fate is determined by concentrations of intra-cellular substances and by various substances in the extracellular matrix, such as nutrients, hormones, growth factors. Intra-cellular regulatory networks are described by ordinary differential equations while extracellular species by partial differential equations. We illustrate the application of this approach with some examples including bacteria filament and tumor growth. These examples are followed by more detailed studies of erythropoiesis and immune response. Erythrocytes are produced in the bone marrow in small cellular units called erythroblastic islands. Each island is formed by a central macrophage surrounded by erythroid progenitors in different stages of maturity. Their choice between self-renewal, differentiation and apoptosis is determined by the ERK/Fas regulation and by a growth factor produced by the macrophage. Normal functioning of erythropoiesis can be compromised by the development of multiple myeloma, a malignant blood disorder which leads to a destruction of erythroblastic islands and to sever anemia. The last part of the work is devoted to the applications of hybrid models to study immune response and the development of viral infection. A two-scale model describing processes in a lymph node and other organs including the blood compartment is presented.

В статье изложены основные положения методики расчета отделения полезной нагрузки (объектов различного назначения с собственным движительным комплексом) от подводного носителя методом самовыхода с использованием современных методов численной гидродинамики (CFD-технологий). Приводится описание метода отделения самовыходом, его достоинства и недостатки. Приводятся результаты исследования сходимости по сетке конечно-объемной модели по критерию «точность–время», а также результаты сопоставления расчета с экспериментом (валидации модели). Валидация модели проводилась по имеющимся данным экспериментального определения тяговых характеристик водометного движительного комплекса натурного образца в опытовом бассейне. Расчеты тяговых характеристик водометного движительного комплекса проводились с применением программного комплекса FlowVision версии 3.10. На основании сопоставления результатов расчетов для условий проведения экспериментов была определена погрешность расчетной модели водометного движительного комплекса, которая составила не более 5 % в диапазоне поступей работы водометного движительного комплекса, реализуемых в процессе отделения методом самовыхода. Полученное значение погрешности расчета тяговых характеристик используется для определения предельных расчетных значений скорости отделения объекта от носителя (минимальные и максимальные значения). Рассмотренная задача является значимой с научной точки зрения благодаря особенностям подхода к моделированию водометного движительного комплекса совместно с движением отделяемого объекта, а также с практической точки зрения благодаря возможности получения с высокой степенью достоверности параметров отделения объектов от подводных аппаратов методом самовыхода, условия работы которых предполагают движение в замкнутых объемах, уже на стадии проектирования.

The article describes the basic approaches of the calculation procedure of payload swim-out (objects of different function with own propulsor) from the underwater carrier a method of a self-exit using modern CFD technologies. It contains the description of swim-out by a self-exit method, its advantages and disadvantages. Also it contains results of research of convergence on a grid of a final-volume model with accuracy-time criterion, and results of comparison of calculation with experiment (validation of models). Validation of models was carried out using the available data of experimental definition of traction characteristics of water-jet propulsor of the natural sample in the development pool. Calculations of traction characteristics of water-jet propulsor were carried out via software package FlowVision ver. 3.10. On the basis of comparison of results of calculations for conditions of carrying out of experiments the error of water-jet propulsor calculated model which has made no more than 5% in a range of advance coefficient water-jet propulsor, realised in the process of swim-out by a selfexit method has been defined. The received value of an error of calculation of traction characteristics is used for definition of limiting settlement values of speed of branch of object from the carrier (the minimum and maximum values). The considered problem is significant from the scientific point of view thanks to features of the approach to modelling hydrojet moving system together with movement of separated object, and also from the practical point of view, thanks to possibility of reception with high degree of reliability of parametres swim-out of objects from sea bed vehicles a method of the self-exit which working conditions are assumed by movement in the closed volumes, already on a design stage.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В работе представлена методика моделирования центробежных насосов с использованием программного комплекса (ПК) FlowVision на примере магистрального нефтяного центробежного насоса НМ 1250-260. В качестве рабочего тела как при стендовых испытаниях, так и при численном моделировании используется вода. Расчет проводится в полной трехмерной постановке. Для учета утечек через уплотнения моделирование проводится вместе с корпусом насоса. С целью уменьшения требуемых вычислительных ресурсов в работе предлагается не моделировать течение в уплотнениях напрямую, а задавать утечки с помощью расхода. Влияние шероховатости поверхностей насоса учитывается в модели пристеночных функций. Модель пристеночных функций использует эквивалентную песочную шероховатость, и в работе применяется формула пересчета реальной шероховатости в эквивалентную песочную. Вращение рабочего колеса моделируется с помощью метода скользящих сеток: данный подход полностью учитывает нестационарное взаимодействие между ротором и диффузором насоса, что позволяет с высокой точностью разрешить рециркуляционные вихри, возникающие на режимах с низкой подачей.

Разработанная методика позволила добиться высокой согласованности результатов моделирования с экспериментом на всех режимах работы насоса. Отклонение на номинальном режиме по КПД составляет 0,42%, по напору — 1,9%. Отклонение расчетных характеристик от экспериментальных растет по мере увеличения подачи и достигает максимума на крайней правой точке характеристики (до 4,8% по напору). При этом среднее арифметическое относительное отклонение между численным моделированием и экспериментом для КПД насоса по шести точкам составляет 0,39% при погрешности измерения КПД в эксперименте 0,72%, что удовлетворяет требованиям к точности расчетов. В дальнейшем данная методика может быть использована для проведения серии оптимизационных и прочностных расчетов, так как моделирование не требует существенных вычислительных ресурсов и учитывает нестационарный характер течения в насосе.

This paper presents a methodology for modeling centrifugal pumps using the example of the NM 1250 260 main oil centrifugal pump. We use FlowVision CFD software as the numerical modeling instrument. Bench tests and numerical modeling use water as a working fluid. The geometrical model of the pump is fully three-dimensional and includes the pump housing to account for leakages. In order to reduce the required computational resources, the methodology specifies leakages using flow rate rather than directly modeling them. Surface roughness influences flow through the wall function model. The wall function model uses an equivalent sand roughness, and a formula for converting real roughness into equivalent sand roughness is applied in this work. FlowVision uses the sliding mesh method for simulation of the rotation of the impeller. This approach takes into account the nonstationary interaction between the rotor and diffuser of the pump, allowing for accurate resolution of recirculation vortices that occur at low flow rates.

The developed methodology has achieved high consistency between numerical simulations results and experiments at all pump operating conditions. The deviation in efficiency at nominal conditions is 0.42%, and in head is 1.9%. The deviation of calculated characteristics from experimental ones increases as the flow rate increases and reaches a maximum at the far-right point of the characteristic curve (up to 4.8% in head). This phenomenon occurs due to a slight mismatch between the geometric model of the impeller used in the calculation and the real pump model from the experiment. However, the average arithmetic relative deviation between numerical modeling and experiment for pump efficiency at 6 points is 0.39%, with an experimental efficiency measurement error of 0.72%. This meets the accuracy requirements for calculations. In the future, this methodology can be used for a series of optimization and strength calculations, as modeling does not require significant computational resources and takes into account the non-stationary nature of flow in the pump.