Все выпуски

Работа посвящена численному моделированию двухфазных течений, а именно расчету сверхзвукового обтекания затупленного тела потоком вязкого газа с примесью относительно крупных частиц, масса которых позволяет после отражения от поверхности выйти за пределы ударного слоя, двигаясь по инерции навстречу набегающему потоку. Натурные и вычислительные эксперименты показывают, что движение высокоинерционных частиц существенным образом изменяет структуру течения газа в ударном слое, а формирующиеся при этом направленные на тело импактные струи вызывают увеличение давления газа вблизи участков поверхности и кратный рост конвективного теплового потока.

Построена математическая модель обтекания затупленного тела сверхзвуковым потоком вязкого газа с твердыми частицами. Решение системы нестационарных уравнений Навье–Стокса в консервативных переменных осуществляется бессеточным методом, в основе которого лежит аппроксимация частных пространственных производных газодинамических величин и содержащих их функций методом наименьших квадратов на множестве распределенных в области расчета узлов. Расчет невязких потоков выполняется методом HLLC в сочетании с MUSCL-реконструкцией третьего порядка, вязких потоков — схемой второго порядка. МНК-аппроксимация частных производных параметров газа по направлению также применяется для реализации краевых условий Неймана на выходной границе области расчета, а также поверхностях обтекаемых тел, которые считаются изотермическими твердыми стенками.

Каждое движущееся тело окружено облаком расчетных узлов, принадлежащих его домену и перемещающихся вместе с ним в пространстве. Реализовано два подхода к моделированию перемещения объектов с учетом обратного влияния на течение газа: метод скользящих облаков фиксированной формы и эволюции единого облака узлов, представляющего собой объединение узлов разных доменов. Проведенные численные эксперименты подтвердили применимость предложенных методов к решению целевых задач моделирования движения крупных частиц в сверхзвуковом потоке.

Выполнена программная реализация представленных алгоритмов на основе технологии параллельных гетерогенных вычислений OpenCL. Представлены результаты моделирования движения крупной частицы вдоль оси симметрии сферы навстречу набегающему потоку с числом Маха $\mathrm{M}=6$.

The work is devoted to numerical modeling of two-phase flows, namely, the calculation of supersonic flow around a blunt body by a viscous gas flow with an admixture of large high inertia particles. The system of unsteady Navier – Stokes equations is numerically solved by the meshless method. It uses the cloud of points in space to represent the fields of gas parameters. The spatial derivatives of gas parameters and functions are approximated by the least square method to calculate convective and viscous fluxes in the Navier – Stokes system of equations. The convective fluxes are calculated by the HLLC method. The third-order MUSCL reconstruction scheme is used to achieve high order accuracy. The viscous fluxes are calculated by the second order approximation scheme. The streamlined body surface is represented by a model of an isothermal wall. It implements the conditions for the zero velocity and zero pressure gradient, which is also modeled using the least squares method.

Every moving body is surrounded by its own cloud of points belongs to body’s domain and moving along with it in space. The explicit three-sage Runge–Kutta method is used to solve numerically the system of gas dynamics equations in the main coordinate system and local coordinate systems of each particle.

Two methods for the moving objects modeling with reverse impact on the gas flow have been implemented. The first one uses stationary point clouds with fixed neighbors within the same domain. When regions overlap, some nodes of one domain, for example, the boundary nodes of the particle domain, are excluded from the calculation and filled with the values of gas parameters from the nearest nodes of another domain using the least squares approximation of gradients. The internal nodes of the particle domain are used to reconstruct the gas parameters in the overlapped nodes of the main domain. The second method also uses the exclusion of nodes in overlapping areas, but in this case the nodes of another domain take the place of the excluded neighbors to build a single connected cloud of nodes. At the same time, some of the nodes are moving, and some are stationary. Nodes membership to different domains and their relative speed are taken into account when calculating fluxes.

The results of modeling the motion of a particle in a stationary gas and the flow around a stationary particle by an incoming flow at the same relative velocity show good agreement for both presented methods.

The mathematical model, finite-difference schemes and algorithms for computation of transient thermoand hydrodynamic processes involved in commissioning the unified system including the oil producing well, electrical submersible pump and fractured-porous reservoir with bottom water are developed. These models are implemented in the computer package to simulate transient processes with simultaneous visualization of their results along with computations. An important feature of the package Oil-RWP is its interaction with the special external program GCS which simulates the work of the surface electric control station and data exchange between these two programs. The package Oil-RWP sends telemetry data and current parameters of the operating submersible unit to the program module GCS (direct coupling). The station controller analyzes incoming data and generates the required control parameters for the submersible pump. These parameters are sent to Oil-RWP (feedback). Such an approach allows us to consider the developed software as the “Intellectual Well System”.

Some principal results of the simulations can be briefly presented as follows. The transient time between inaction and quasi-steady operation of the producing well depends on the well stream watering, filtration and capacitive parameters of oil reservoir, physical-chemical properties of phases and technical characteristics of the submersible unit. For the large time solution of the nonstationary equations governing the nonsteady processes is practically identical to the inverse quasi-stationary problem solution with the same initial data. The developed software package is an effective tool for analysis, forecast and optimization of the exploiting parameters of the unified oil-producing complex during its commissioning into the operating regime.

The mathematical model, finite-difference schemes and algorithms for computation of transient thermoand hydrodynamic processes involved in commissioning the unified system including the oil producing well, electrical submersible pump and fractured-porous reservoir with bottom water are developed. These models are implemented in the computer package to simulate transient processes with simultaneous visualization of their results along with computations. An important feature of the package Oil-RWP is its interaction with the special external program GCS which simulates the work of the surface electric control station and data exchange between these two programs. The package Oil-RWP sends telemetry data and current parameters of the operating submersible unit to the program module GCS (direct coupling). The station controller analyzes incoming data and generates the required control parameters for the submersible pump. These parameters are sent to Oil-RWP (feedback). Such an approach allows us to consider the developed software as the “Intellectual Well System”.

Some principal results of the simulations can be briefly presented as follows. The transient time between inaction and quasi-steady operation of the producing well depends on the well stream watering, filtration and capacitive parameters of oil reservoir, physical-chemical properties of phases and technical characteristics of the submersible unit. For the large time solution of the nonstationary equations governing the nonsteady processes is practically identical to the inverse quasi-stationary problem solution with the same initial data. The developed software package is an effective tool for analysis, forecast and optimization of the exploiting parameters of the unified oil-producing complex during its commissioning into the operating regime.

В работе рассматривается применение метода сбалансированной идентификации для построения многофакторной функциональной зависимости нетто СО₂-обмена (NEE) от факторов внешней среды и ее дальнейшего использования для заполнения пропусков в рядах наблюдений за потоками СО₂ на верховом сфагновом болоте в Тверской области. Измерения потоков на болоте проводились с помощью метода турбулентных пульсаций в период с августа по ноябрь 2017 года. Из-за дождливых погодных условий и высокой повторяемости периодов с низкой турбулентностью на протяжении всего периода наблюдений доля пропусков в измерениях NEE на исследуемом болоте превысила 40%. Разработанная для заполнения пропусков модель описывает NEE верхового болота как разность экосистемного дыхания (RE) и валовой первичной продукции (GPP) и учитывает зависимость этих параметров от приходящей суммарной солнечной радиации (Q), температуры почвы (T), дефицита упругости водяного пара (VPD) и уровня болотных вод (WL). Используемый для этой цели метод сбалансированной идентификации основан на поиске оптимального соотношения между простотой модели и точностью повторения измерений — соотношения, доставляющего минимум оценке погрешности моделирования, полученной методом перекрестного оценивания. Полученные численные решения обладают минимально необходимой нелинейностью (кривизной), что обеспечивает хорошие интерполяционные и экстраполяционные свойства построенных моделей, необходимые для восполнения недостающих данных по потокам. На основе проведенного анализа временной изменчивости NEE и факторов внешней среды была выявлена статистически значимая зависимость GPP болота от Q, T и VPD, а RE — от T и WL. При этом погрешность применения предложенного метода для моделирования среднесуточных данных NEE составила менее 10%, а точность выполненных оценок NEE была выше, чем у модели REddyProc, учитывающей влияние на NEE меньшего числа внешних факторов. На основе восстановленных непрерывных рядов данных по NEE была проведена оценка масштабов внутрисуточной и межсуточной изменчивости NEE и получены интегральные оценки потоков СО₂ исследуемого верхового болота для выбранного летне-осеннего периода. Было показано, что если в августе 2017 года на исследуемом болоте скорость фиксации СО₂ растительным покровом существенно превышала величину экосистемного дыхания, то, начиная с сентября, на фоне снижения GPP исследуемое болото превратилось в устойчивый источник СО₂ для атмосферы.

The method of balanced identification was used to describe the response of Net Ecosystem Exchange of CO₂ (NEE) to change of environmental factors, and to fill the gaps in continuous CO₂ flux measurements in a sphagnum peat bog in the Tver region. The measurements were provided in the peat bog by the eddy covariance method from August to November of 2017. Due to rainy weather conditions and recurrent periods with low atmospheric turbulence the gap proportion in measured CO₂ fluxes at our experimental site during the entire period of measurements exceeded 40%. The model developed for the gap filling in long-term experimental data considers the NEE as a difference between Ecosystem Respiration (RE) and Gross Primary Production (GPP), i.e. key processes of ecosystem functioning, and their dependence on incoming solar radiation (Q), soil temperature (T), water vapor pressure deficit (VPD) and ground water level (WL). Applied for this purpose the balanced identification method is based on the search for the optimal ratio between the model simplicity and the data fitting accuracy — the ratio providing the minimum of the modeling error estimated by the cross validation method. The obtained numerical solutions are characterized by minimum necessary nonlinearity (curvature) that provides sufficient interpolation and extrapolation characteristics of the developed models. It is particularly important to fill the missing values in NEE measurements. Reviewing the temporary variability of NEE and key environmental factors allowed to reveal a statistically significant dependence of GPP on Q, T, and VPD, and RE — on T and WL, respectively. At the same time, the inaccuracy of applied method for simulation of the mean daily NEE, was less than 10%, and the error in NEE estimates by the method was higher than by the REddyProc model considering the influence on NEE of fewer number of environmental parameters. Analyzing the gap-filled time series of NEE allowed to derive the diurnal and inter-daily variability of NEE and to obtain cumulative CO₂ fluxs in the peat bog for selected summer-autumn period. It was shown, that the rate of CO₂ fixation by peat bog vegetation in August was significantly higher than the rate of ecosystem respiration, while since September due to strong decrease of GPP the peat bog was turned into a consistent source of CO₂ for the atmosphere.

В условиях развития современной экономики человеческий капитал является одним из главных факторов экономического роста. Формирование человеческого капитала начинается с рождения человека и продолжается в течение всей жизни, поэтому величина человеческого капитала неотделима от его носителей, что, в свою очередь, затрудняет учет данного фактора. Это привело к тому, что в настоящее время нет общепринятых методик расчета величины человеческого капитала. Можно выделить лишь несколько подходов к измерению человеческого капитала: стоимостной подход (по доходам или инвестициям) и индексный подход, из которых наиболее известен подход, разработанный под эгидой ООН.

В данной работе поставленная задача рассматривается совместно с задачей демографической динамики, решаемой во временно-возрастной плоскости, что позволяет наиболее полно учесть влияние временных изменений демографической структуры на динамику человеческого капитала.

Задача демографической динамики ставится в рамках модели Мак-Кендрика – фон Ферстера на основе уравнения динамики возрастного состава. Вид функций распределения рождений, смертности и миграции населения определяется на основе имеющейся статистической информации. Приводится численное решение задачи. Представлены анализ и прогноз демографических показателей. На основе задачи демографической динамики формулируется экономико-математическая модель динамики человеческого капитала. В задаче моделирования динамики человеческого капитала рассматриваются три составляющие: образовательная, составляющая здоровья и культурная (духовная) составляющая. Для описания эволюции составляющих человеческого капитала используется двумерное уравнение типа уравнения переноса. Объемы инвестиций в составляющие человеческого капитала определяются на основе расходных статей бюджета и частных расходов с учетом характерного временного жизненного цикла демографических элементов. Для прогнозирования динамики суммарной величины человеческого капитала используется одномерное кинетическое уравнение. Приводится методика расчета динамики данного фактора как функции времени. Представлены расчетные данные по динамике человеческого капитала для Российской Федерации. Как показали исследования, величина человеческого капитала интенсивно нарастала до 2008 года, в дальнейшем наступил период стабилизации, но после 2014 года имеет место отрицательная динамика данной величины.

In the conditions of the development of modern economy, human capital is one of the main factors of economic growth. The formation of human capital begins with the birth of a person and continues throughout life, so the value of human capital is inseparable from its carriers, which in turn makes it difficult to account for this factor. This has led to the fact that currently there are no generally accepted methods of calculating the value of human capital. There are only a few approaches to the measurement of human capital: the cost approach (by income or investment) and the index approach, of which the most well-known approach developed under the auspices of the UN.

This paper presents the assigned task in conjunction with the task of demographic dynamics solved in the time-age plane, which allows to more fully take into account the temporary changes in the demographic structure on the dynamics of human capital.

The task of demographic dynamics is posed within the framework of the Mac-Kendrick – von Foerster model on the basis of the equation of age structure dynamics. The form of distribution functions for births, deaths and migration of the population is determined on the basis of the available statistical information. The numerical solution of the problem is given. The analysis and forecast of demographic indicators are presented. The economic and mathematical model of human capital dynamics is formulated on the basis of the demographic dynamics problem. The problem of modeling the human capital dynamics considers three components of capital: educational, health and cultural (spiritual). Description of the evolution of human capital components uses an equation of the transfer equation type. Investments in human capital components are determined on the basis of budget expenditures and private expenditures, taking into account the characteristic time life cycle of demographic elements. A one-dimensional kinetic equation is used to predict the dynamics of the total human capital. The method of calculating the dynamics of this factor is given as a time function. The calculated data on the human capital dynamics are presented for the Russian Federation. As studies have shown, the value of human capital increased rapidly until 2008, in the future there was a period of stabilization, but after 2014 there is a negative dynamics of this value.

В данной статье нами предложен новый подход к анализу эконометрических параметров отрасли для уровня консолидированности отрасли. Исследование базируется на простой модели управления отраслью в соответствии с моделью из теории автоматического управления. Состояние отрасли оценивается на основе ежеквартальных эконометрических параметров получаемых в обезличенном виде от каждой компании отрасли через налогового регулятора.

Предложен подход к анализу отрасли, который не предусматривает отслеживания эконометрических показателей каждой компании, но рассматривает параметры всех компаний отрасли, как единого объекта.

Ежеквартальными эконометрическими параметрами для каждой компании отрасли являются доход, количество работников, налоги и сборы, уплачиваемые в бюджет, доход от продажи лицензионных прав на программное обеспечение.

Был использован ABC-метод анализа модифицированный до ABCD-метода (D — компании с нулевым вкладом в соответствующую отраслевую метрику) для различных отраслевых метрик. Были построены Парето-кривые для множества эконометрических параметров отрасли.

Для оценки степени монополизированности отрасли был рассчитан индекс Херфиндаля – Хиршмана (ИХХ) для наиболее чувствительных метрик отрасли. С использованием ИХХ было показано что пандемия COVID-19 не привела к существенным изменениям уровня монополизированности российской ИТ-отрасли.

В качестве наиболее наглядного подхода к отображению отрасли было предложено использовать диаграмму рассеяния в сочетании с присвоением компаниям отрасли цвета в соответствии с их позицией на Парето-кривой. Также продемонстрирован эффект влияния процедуры аккредитации путем отображения отрасли в формате диаграммы рассеяния c красно-черным отображением аккредитованных и неаккредитованных компаний, соответственно.

И заключительным результатом, отраженным в статье является предложение использования процедуры сквозной идентификации при организации цепочек поставок программного обеспечения с целью контроля структуры рынка программного обеспечения. Этот подход позволяет избежать множественного учета при продаже лицензий на программное обеспечение в рамках цепочек поставок.

Результаты работы могут быть положены в основу дальнейшего анализа ИТ-отрасли и перехода к агентному моделированию отрасли.

In this article we propose a new approach to the analysis of econometric industry parameters for the industry consolidation level. The research is based on the simple industry automatic control model. The state of the industry is measured by quarterly obtained econometric parameters from each industry’s company provided by the tax control regulator. An approach to analysis of the industry, which does not provide for tracking the economy of each company, but explores the parameters of the set of all companies as a whole, is proposed. Quarterly obtained econometric parameters from each industry’s company are Income, Quantity of employers, Taxes, and Income from Software Licenses. The ABC analysis method was modified by ABCD analysis (D — companies with zero-level impact to industry metrics) and used to make the results obtained for different indicators comparable. Pareto charts were formed for the set of econometric indicators.

To estimate the industry monopolization, the Herfindahl – Hirschman index was calculated for the most sensitive companies metrics. Using the HHI approach, it was proved that COVID-19 does not lead to changes in the monopolization of the Russian IT industry.

As the most visually obvious approach to the industry visualization, scattering diagrams in combination with the Pareto graph colors were proposed. The affect of the accreditation procedure is clearly observed by scattering diagram in combination with red/black dots for accredited and nonaccredited companies respectively.

The last reported result is the proposal to use the Licenses End-to-End Product Identification as the market structure control instrument. It is the basis to avoid the multiple accounting of the licenses reselling within the chain of software distribution.

The results of research could be the basis for future IT industry analysis and simulation on the agent based approach.

При моделировании турбулентных течений в практических приложениях часто приходится проводить серии расчетов для тел близкой топологии. Например, тел, отличающихся формой обтекателя. Применение сверточных нейронных сетей позволяет сократить количество расчетов серии, восстановив часть из них по уже проведенным расчетам. В работе предлагается метод, позволяющий применить сверточную нейронную сеть независимо от способа построения вычислительной сетки. Для этого проводится переинтерполяция поля течения на равномерную сетку вместе с самим телом. Геометрия тела задается с помощью функции расстояния со знаком и маскирования. Восстановление поля течения на основании части расчетов для схожих геометрий проводится с помощью нейронной сети типа UNet с пространственным механизмом внимания. Разрешение пристенной области, являющееся критически важным условием при турбулентном моделировании, производится на основании уравнений, полученных в методе пристенной декомпозиции.

Демонстрация метода приводится для случая обтекания скругленной пластины турбулентным потоком воздуха с различным скруглением при фиксированных параметрах набегающего потока с числом Рейнольдса $Re = 10^5$ и числом Маха $M = 0,15$. Поскольку течения с такими параметрами набегающего потока можно считать несжимаемыми, исследуются непосредственно только компоненты скорости. Проводится сравнение полей течения, профилей скорости и трения на стенке, полученных суррогатной моделью и численно. Анализ проводится как на пластине, так и на скруглении. Результаты моделирования подтверждают перспективность предлагаемого подхода. В частности, было показано, что даже в случае использования модели на максимально допустимых границах ее применимости трение может быть получено с точностью до 90%. Также в работе проводится анализ построенной архитектуры нейронной сети. Полученная суррогатная модель сравнивается с альтернативными моделями, построенными на основании вариационного автоэнкодера или метода главных компонент с использованием радиальных базисных функций. На основании этого сравнения демонстрируются преимущества предложенного метода.

When modeling turbulent flows in practical applications, it is often necessary to carry out a series of calculations of bodies of similar topology. For example, bodies that differ in the shape of the fairing. The use of convolutional neural networks allows to reduce the number of calculations in a series, restoring some of them based on calculations already performed. The paper proposes a method that allows to apply a convolutional neural network regardless of the method of constructing a computational mesh. To do this, the flow field is reinterpolated to a uniform mesh along with the body itself. The geometry of the body is set using the signed distance function and masking. The restoration of the flow field based on part of the calculations for similar geometries is carried out using a neural network of the UNet type with a spatial attention mechanism. The resolution of the nearwall region, which is a critical condition for turbulent modeling, is based on the equations obtained in the nearwall domain decomposition method.

A demonstration of the method is given for the case of a flow around a rounded plate by a turbulent air flow with different rounding at fixed parameters of the incoming flow with the Reynolds number $Re = 10^5$ and the Mach number $M = 0.15$. Since flows with such parameters of the incoming flow can be considered incompressible, only the velocity components are studied directly. The flow fields, velocity and friction profiles obtained by the surrogate model and numerically are compared. The analysis is carried out both on the plate and on the rounding. The simulation results confirm the prospects of the proposed approach. In particular, it was shown that even if the model is used at the maximum permissible limits of its applicability, friction can be obtained with an accuracy of up to 90%. The work also analyzes the constructed architecture of the neural network. The obtained surrogate model is compared with alternative models based on a variational autoencoder or the principal component analysis using radial basis functions. Based on this comparison, the advantages of the proposed method are demonstrated.

Рассмотрены вопросы адекватности разработанной ранее автором модели для анализа неравенства доходов, основанной на эмпирически подтвержденной гипотезе о том, что относительные (по отношению к доходу наиболее богатой группы) величины дохода 20% групп населения в совокупном доходе могут быть приближенно представлены в виде конечной функциональной последовательности, каждый член которой зависит от одного параметра — специально определенного показателя неравенства. Показано, что в дополнение к существующим методам анализа неравенства с помощью этой модели можно определить зависимость доли дохода 20%, 10% и более мелких групп населения от уровня неравенства, выявить особенности их изменения при росте неравенства, рассчитать уровень неравенства при известных соотношениях между доходами различных групп населения и др.

В работе приводится более подробное подтверждение адекватности предложенной модели по сравнению с полученными ранее результатами статистического анализа эмпирических данных о распределении доходов между 20%- и 10%-ми группами населения. Оно основано на анализе определенных соотношений между величинами квинтилей и децилей согласно предлагаемой модели. Проверка этих соотношений проведена по совокупности данных для большого числа стран. Полученные оценки подтверждают достаточно высокую точность модели.

Приведены данные, которые подтверждают возможность применения модели для анализа зависимости распределения доходов по группам населения от уровня неравенства, а также для оценки показателя неравенства для вариантов соотношений доходов между различными группами, в том числе когда доход 20% наиболее богатых равен доходу 60% бедных, доходу 40% среднего класса или доходу 80% остального населения, а также когда доход 10% самых богатых равен доходу 40%, 50% или 60% бедных, доходу различных групп среднего класса и др., а также для случаев, когда распределение доходов подчиняется гармоническим пропорциям и когда квинтили и децили, соответствующие среднему классу, достигают максимума. Показано, что доли дохода наиболее богатых групп среднего класса относительно стабильны и имеют максимум при определенных уровнях неравенства.

Полученные с помощью модели результаты могут быть использованы для определения нормативов при разработке политики поэтапного повышении уровня прогрессивного налогообложения с целью перехода к уровню неравенства, характерному для стран с социально ориентированной экономикой.

The paper considers the adequacy of the model developed earlier by the author for the analysis of income inequality and based on an empirically confirmed hypothesis that the relative (to the income of the richest group) income values of 20% population groups in total income can be represented as a finite functional sequence, each member of which depends on one parameter — a specially defined indicator of inequality. It is shown that in addition to the existing methods of inequality analysis, the model makes it possible to estimate with the help of analytical expressions the income shares of 20%, 10% and smaller groups of the population for different levels of inequality, as well as to identify how they change with the growth of inequality, to estimate the level of inequality for known ratios between the incomes of different groups of the population, etc.

The paper provides a more detailed confirmation of the proposed model adequacy in comparison with the previously obtained results of statistical analysis of empirical data on the distribution of income between the 20% and 10% population groups. It is based on the analysis of certain ratios between the values of quintiles and deciles according to the proposed model. The verification of these ratios was carried out using a set of data for a large number of countries and the estimates obtained confirm the sufficiently high accuracy of the model.

Data are presented that confirm the possibility of using the model to analyze the dependence of income distribution by population groups on the level of inequality, as well as to estimate the inequality indicator for income ratios between different groups, including variants when the income of the richest 20% is equal to the income of the poor 60 %, income of the middle class 40% or income of the rest 80% of the population, as well as when the income of the richest 10% is equal to the income of the poor 40 %, 50% or 60%, to the income of various middle class groups, etc., as well as for cases, when the distribution of income obeys harmonic proportions and when the quintiles and deciles corresponding to the middle class reach a maximum. It is shown that the income shares of the richest middle class groups are relatively stable and have a maximum at certain levels of inequality.

The results obtained with the help of the model can be used to determine the standards for developing a policy of gradually increasing the level of progressive taxation in order to move to the level of inequality typical of countries with social oriented economy.

Данная работа предлагает новый подход к построению высокоточных маршрутов на основе данных от транспортных детекторов в пакете моделирования трафика SUMO. Существующие инструменты, такие как flowrouter и routeSampler, имеют ряд недостатков, таких как отсутствие взаимодействия с сетью в процессе построения маршрутов. Наш rlRouter использует мультиагентное обучение с подкреплением (MARL), где агенты — это входящие полосы движения, а окружающая среда — дорожная сеть. Добавляя в сеть транспортные средства с определенными маршрутами, агенты получают вознаграждение за сопоставление данных с детекторами транспорта. В качестве алгоритма мультиагентного обучения с подкреплением использовался DQN с разделением параметров между агентами и LSTM-слоем для обработки последовательных данных.

Поскольку rlRouter обучается внутри симуляции SUMO, он может лучше восстанавливать маршруты, принимая во внимание взаимодействие транспортных средств внутри сети друг с другом и с сетевой инфраструктурой. Мы смоделировали различные дорожные ситуации на трех разных перекрестках, чтобы сравнить производительность маршрутизаторов SUMO с rlRouter. Мы использовали среднюю абсолютную ошибку (MAE) в качестве меры отклонения кумулятивных данных детекторов и от данных маршрутов. rlRouter позволил добиться высокого соответствия данным с детекторов. Мы также обнаружили, что, максимизируя вознаграждение за соответствие детекторам, результирующие маршруты также становятся ближе к реальным. Несмотря на то, что маршруты, восстановленные с помощью rlRouter, превосходят маршруты, полученные с помощью инструментов SUMO, они не полностью соответствуют реальным из-за естественных ограничений петлевых детекторов. Чтобы обеспечить более правдоподобные маршруты, необходимо оборудовать перекрестки другими видами транспортных счетчиков, например, детекторами-камерами.

This work provides a new approach for constructing high-precision routes based on data from transport detectors inside the SUMO traffic modeling package. Existing tools such as flowrouter and routeSampler have a number of disadvantages, such as the lack of interaction with the network in the process of building routes. Our rlRouter uses multi-agent reinforcement learning (MARL), where the agents are incoming lanes and the environment is the road network. By performing actions to launch vehicles, agents receive a reward for matching data from transport detectors. Parameter Sharing DQN with the LSTM backbone of the Q-function was used as an algorithm for multi-agent reinforcement learning.

Since the rlRouter is trained inside the SUMO simulation, it can restore routes better by taking into account the interaction of vehicles within the network with each other and with the network infrastructure. We have modeled diverse traffic situations on three different junctions in order to compare the performance of SUMO’s routers with the rlRouter. We used Mean Absoluter Error (MAE) as the measure of the deviation from both cumulative detectors and routes data. The rlRouter achieved the highest compliance with the data from the detectors. We also found that by maximizing the reward for matching detectors, the resulting routes also get closer to the real ones. Despite the fact that the routes recovered using rlRouter are superior to the routes obtained using SUMO tools, they do not fully correspond to the real ones, due to the natural limitations of induction-loop detectors. To achieve more plausible routes, it is necessary to equip junctions with other types of transport counters, for example, camera detectors.

В статье рассмотрена задача построения равновесий Нэша и Штакельберга при исследовании динамической системы контроля качества речных вод. Учитывается влияние субъектов управления двух уровней: одного ведущего и нескольких ведомых. В качестве ведущего (супервайзера) выступает природоохранный орган, а в роли ведомых (агентов) — промышленные предприятия. Основной целью супервайзера является поддержание допустимой концентрации загрязняющих веществ в речной воде. Добиться этого он может не единственным образом, поэтому, кроме того, супервайзер стремится к оптимизации своего целевого функционала. Супервайзер воздействует на агентов, назначая величину платы за сброс загрязнений в водоток. Плата за загрязнение от агента поступает в федеральный и местные бюджеты, затем распределяется на общих основаниях. Таким образом, плата увеличивает бюджет супервайзера, что и отражено в его целевом функционале. Причем плата за сброс загрязнений начисляется за количество и/или качество сброшенных загрязнений. К сожалению, для большинства систем контроля качества речных вод такая практика неэффективна из-за малого размера платы за сброс загрязнений. В статье и решается задача определения оптимального размера платы за сброс загрязнений, который позволяет поддерживать качество речной воды в заданном диапазоне.

Агенты преследуют только свои эгоистические цели, выражаемые их целевыми функционалами, и не обращают внимания на состояние речной системы. Управление агента можно рассматривать как часть стока, которую агент очищает, а управление супервайзера — как назначаемый размер платы за сброс оставшихся загрязнений в водоток.

Для описания изменения концентраций загрязняющих веществ в речной системе используется обыкновенное дифференциальное уравнение. Проблема поддержания заданного качества речной воды в рамках предложенной модели исследуется как с точки зрения агентов, так и с точки зрения супервайзера. В первом случае возникает дифференциальная игра в нормальной форме, в которой строится равновесие Нэша, во втором — иерархическая дифференциальная игра, разыгрываемая в соответствии с информационным регламентом игры Штакельберга. Указаны алгоритмы численного построения равновесий Нэша и Штакельберга для широкого класса входных функций. При построении равновесия Нэша возникает необходимость решения задач оптимального управления. Решение этих задач проводится в соответствии с принципом максимума Понтрягина. Строится функция Гамильтона, полученная система дифференциальных уравнений решается численно методом стрельбы и методом конечных разностей. Проведенные численные расчеты показывают, что низкий размер платы за единицу сброшенных в водоток загрязнений приводит к росту концентрации загрязняющих веществ в водотоке, а высокий — к банкротству предприятий. Это приводит к задаче нахождения оптимальной величины платы за сброс загрязнений, то есть к рассмотрению проблемы с точки зрения супервайзера. В этом случае возникает иерархическая дифференциальная игра супервайзера и агентов, в которой ищется равновесие Штакельберга. Возникает задача максимизации целевого функционала супервайзера с учетом управлений агентов, образующих равновесие Нэша. При нахождении оптимальных управлений супервайзера используется метод качественно репрезентативных сценариев, а для агентов — принцип максимума Понтрягина. Проведены численные эксперименты, найден коэффициент системной согласованности. Полученные численные результаты позволяют сделать вывод, что система контроля качества речных вод плохо системно согласована и для достижения стабильного развития системы необходимо иерархическое управление.

In this paper we consider mathematical model to control water quality. We study a system with two-level hierarchy: one environmental organization (supervisor) at the top level and a few industrial enterprises (agents) at the lower level. The main goal of the supervisor is to keep water pollution level below certain value, while enterprises pollute water, as a side effect of the manufacturing process. Supervisor achieves its goal by charging a penalty for enterprises. On the other hand, enterprises choose how much to purify their wastewater to maximize their income.The fee increases the budget of the supervisor. Moreover, effulent fees are charged for the quantity and/or quality of the discharged pollution. Unfortunately, in practice, such charges are ineffective due to the insufficient tax size. The article solves the problem of determining the optimal size of the charge for pollution discharge, which allows maintaining the quality of river water in the rear range.

We describe system members goals with target functionals, and describe water pollution level and enterprises state as system of ordinary differential equations. We consider the problem from both supervisor and enterprises sides. From agents’ point a normal-form game arises, where we search for Nash equilibrium and for the supervisor, we search for Stackelberg equilibrium. We propose numerical algorithms for finding both Nash and Stackelberg equilibrium. When we construct Nash equilibrium, we solve optimal control problem using Pontryagin’s maximum principle. We construct Hamilton’s function and solve corresponding system of partial differential equations with shooting method and finite difference method. Numerical calculations show that the low penalty for enterprises results in increasing pollution level, when relatively high penalty can result in enterprises bankruptcy. This leads to the problem of choosing optimal penalty, which requires considering problem from the supervisor point. In that case we use the method of qualitatively representative scenarios for supervisor and Pontryagin’s maximum principle for agents to find optimal control for the system. At last, we compute system consistency ratio and test algorithms for different data. The results show that a hierarchical control is required to provide system stability.

В предлагаемой публикации используется объединение оптимизационного подхода общего равновесия, позволяющего объяснить поведение спроса, предложения и цен в экономике с несколькими взаимодействующими рынками, и мультиагентного имитационного подхода, формализующего поведение домашних хозяйств. Интегрирование двух этих подходов рассматривается на примере динамической стохастической модели, включающей теневой, неформальный и сектор домашних хозяйств, производящих блага для собственного потребления. Синтеза гентного подхода и подхода общего равновесия осуществляется с помощью компьютерной реализации рекурсивной обратной связи между микроагентами и макросредой. В предлагаемом исследовании для реализации взаимодействия микроагентов с макросредой используется один из самых популярных подходов, аппроксимирующий распределение доходов индивидуальных агентов дискретным и конечным набором моментов. Особенностью алгоритма реализации рекурсивной обратной связи является получение индивидуальных поведенческих функций микроагентов при их взаимодействии с макросредой, имитационное моделирование с помощью метода Монте-Карло индивидуальных доходов всей совокупности агентов с последующей агрегацией доходов. Параметры модели оцениваются с помощью байесовской эконометрики на статистических данных экономики России. Исходя изс равнения функций правдоподобия, сделан вывод, что исследуемая модель с неоднородными агентами более адекватно описывает эмпирические данные российской экономики. Поведение функций импульсного отклика основных переменных модели свидетельствует об антициклическом характере политики, связанной с наличием теневых секторов экономики (включая неформальный сектор и сектор производства домохозяйств) во время рецессий. Важным фактором является также то, что индивидуальность в поведении агентов способствует повышению эластичности предложения труда в исследуемых секторах экономики. Научной новизной исследования является объединение мультиагентного подхода и подхода общего равновесия для моделирования макроэкономических процессов на региональном и национальном уровне. Перспективы дальнейших исследований могут быть связаны с моделированием и компьютерной реализацией большего числа источников гетерогенности, позволяющих, в частности, описать поведение неоднородных групп агентов в секторах, связанных с производством товаров и услуг.

This article discusses the influence of the shadow, informal and household sectors on the dynamics of a stochastic model with heterogeneous (heterogeneous) agents. The study uses the integration of the general equilibrium approach to explain the behavior of demand, supply and prices in an economy with several interacting markets, and a multi-agent approach. The analyzed model describes an economy with aggregated uncertainty and with an infinite number of heterogeneous agents (households). The source of heterogeneity is the idiosyncratic income shocks of agents in the legal and shadow sectors of the economy. In the analysis, an algorithm is used to approximate the dynamics of the distribution function of the capital stocks of individual agents — the dynamics of its first and second moments. The synthesis of the agent approach and the general equilibrium approach is carried out using computer implementation of the recursive feedback between microagents and macroenvironment. The behavior of the impulse response functions of the main variables of the model confirms the positive influence of the shadow economy (below a certain limit) on minimizing the rate of decline in economic indicators during recessions, especially for developing economies. The scientific novelty of the study is the combination of a multi-agent approach and a general equilibrium approach for modeling macroeconomic processes at the regional and national levels. Further research prospects may be associated with the use of more detailed general equilibrium models, which allow, in particular, to describe the behavior of heterogeneous groups of agents in the entrepreneurial sector of the economy.