Все выпуски

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В работе построена и исследуется обобщенная модель, описывающая двухкомпонентные системы реакционно-диффузионного типа со степенной нелинейностью и учитывающая влияние внешних шумов. Для анализа обобщенной модели разработана методология, включающая в себя линейный анализ устойчивости, нелинейный анализ устойчивости и численное моделирование эволюции системы. Методика проведения линейного анализа опирается на базовые подходы, в которых для получения характеристического уравнения используется матрица линеаризации. Нелинейный анализ устойчивости проводится с точностью до моментов третьего порядка включительно. Для этого функции, описывающие динамику компонент, раскладываются в ряд Тейлора до слагаемых третьего порядка. Затем с помощью теоремы Новикова проводится процедура усреднения. В результате полученные уравнения образуют бесконечную иерархично подчиненную структуру, которую в определенный момент необходимо прервать. Для этого пренебрегаем вкладом слагаемых выше третьего порядка как в самих уравнениях, так и при построении уравнений моментов. Полученные уравнения образуют набор линейных уравнений, из которых формируется матрица устойчивости. Эта матрица имеет довольно сложную структуру, в связи с чем ее решение может быть получено только численно. Для проведения численного исследования эволюции системы выбран метод переменных направлений. Из-за наличия в анализируемой системе стохастической части метод был модифицирован таким образом, что на целых слоях проводится генерация случайных полей с заданным распределением и функцией корреляции, отвечающих за шумовой вклад в общую нелинейность. Апробация разработанной методологии проведена на предложенной Barrio et al. модели реакции – диффузии, по результатам исследования которой им показана схожесть получаемых структур с пигментацией рыб. В настоящей работе внимание сосредоточено на анализе поведения системы в окрестности ненулевой стационарной точки. Изучена зависимость действительной части собственных значений от волнового числа. В линейном анализе получена область значений волновых чисел, при которых возникает неустойчивость Тьюринга. Нелинейный анализ и численное моделирование эволюции системы проводятся для параметров модели, которые, напротив, находятся вне области неустойчивости Тьюринга. В рамках нелинейного анализа найдены интенсивности аддитивного шума, при которых, несмотря на отсутствие условий для возникновения диффузионной неустойчивости, система переходит в неустойчивое состояние. Результаты численного моделирования эволюции апробируемой модели демонстрируют процесс образования пространственных структур тьюрингового типа при воздействии на нее аддитивного шума.

The paper constructs and studies a generalized model describing two-component systems of reaction – diffusion type with power nonlinearity, considering the influence of external noise. A methodology has been developed for analyzing the generalized model, which includes linear stability analysis, nonlinear stability analysis, and numerical simulation of the system’s evolution. The linear analysis technique uses basic approaches, in which the characteristic equation is obtained using a linearization matrix. Nonlinear stability analysis realized up to third-order moments inclusively. For this, the functions describing the dynamics of the components are expanded in Taylor series up to third-order terms. Then, using the Novikov theorem, the averaging procedure is carried out. As a result, the obtained equations form an infinite hierarchically subordinate structure, which must be truncated at some point. To achieve this, contributions from terms higher than the third order are neglected in both the equations themselves and during the construction of the moment equations. The resulting equations form a set of linear equations, from which the stability matrix is constructed. This matrix has a rather complex structure, making it solvable only numerically. For the numerical study of the system’s evolution, the method of variable directions was chosen. Due to the presence of a stochastic component in the analyzed system, the method was modified such that random fields with a specified distribution and correlation function, responsible for the noise contribution to the overall nonlinearity, are generated across entire layers. The developed methodology was tested on the reaction – diffusion model proposed by Barrio et al., according to the results of the study, they showed the similarity of the obtained structures with the pigmentation of fish. This paper focuses on the system behavior analysis in the neighborhood of a non-zero stationary point. The dependence of the real part of the eigenvalues on the wavenumber has been examined. In the linear analysis, a range of wavenumber values is identified in which Turing instability occurs. Nonlinear analysis and numerical simulation of the system’s evolution are conducted for model parameters that, in contrast, lie outside the Turing instability region. Nonlinear analysis found noise intensities of additive noise for which, despite the absence of conditions for the emergence of diffusion instability, the system transitions to an unstable state. The results of the numerical simulation of the evolution of the tested model demonstrate the process of forming spatial structures of Turing type under the influence of additive noise.

Статья посвящена описанию процесса миграции некоторой популяции с учетом пространственной неоднородности локальной емкости экологической ниши. Предполагается, что эта пространственная неоднородность обусловлена различными природными или искусственными факторами. Математическая модель рассматриваемого процесса миграции представляет собой задачу Коши на прямой для некоторого квазилинейного уравнения в частных производных первого порядка, которому удовлетворяет линейная плотность численности рассматриваемой популяции. В данной работе найдено общее решение этой задачи Коши для произвольной зависимости локальной емкости экологической ниши от пространственной координаты. Это общее решение было применено для описания миграции рассматриваемой популяции в двух различных случаях: в случае зависимости локальной емкости экологической ниши от пространственной координаты в виде гладкой ступеньки и в случае холмообразной зависимости локальной емкости экологической ниши от пространственной координаты. В обоих случаях решение задачи Коши выражается через высшие трансцендентные функции. Наложением специальных соотношений на параметры модели эти высшие трансцендентные функции сводятся к элементарным функциям, что позволяет получить точные решения модели в явном виде, выраженные через элементарные функции. С помощью этих точных решений реализована обширная программа вычислительных экспериментов, показывающих, как начальная плотность популяции гауссовской формы рассеивается на рассмотренных двух видах пространственной неоднородности локальной емкости экологической ниши. Эти вычислительные эксперименты показали, что при прохождении и через ступенеобразную, и через холмообразную пространственную неоднородность локальной емкости экологической ниши с узкой, по сравнению с характерным пространственным масштабом этих неоднородностей, шириной гауссоиды ее начальной плотности система забывает свое начальное состояние. В частности, если интерпретировать исследуемую систему как популяцию, обитающую в протяженной спокойной прямолинейной реке вдоль ее русла, то можно утверждать, что при таком начальном условии после того, как течение этой реки пронесет рассматриваемую популяцию через область пространственной неоднородности локальной емкости экологической ниши, плотность численности популяции становится квазипрямоугольной функцией.

The article describes the migration process of a certain population, taking into account the spatial heterogeneity of the local capacity of the ecological niche. It is assumed that this spatial heterogeneity is caused by various natural or artificial factors. The mathematical model of the migration process under consideration is a Cauchy problem on a straight line for some quasi-linear partial differential equation of the first order, which is satisfied by the linear population density under consideration. In this paper, a general solution to this Cauchy problem is found for an arbitrary dependence of the local capacity of an ecological niche on the spatial coordinate. This general solution was applied to describe the migration of the population in question in two different cases: in the case of a dependence of the local capacity of the ecological niche on the spatial coordinate in the form of a smooth step and in the case of a hill-like dependence of the local capacity of the ecological niche on the spatial coordinate. In both cases, the solution to the Cauchy problem is expressed in terms of higher transcendental functions. By applying special relations to the model parameters, these higher transcendental functions are reduced to elementary functions, which makes it possible to obtain exact model solutions explicitly expressed in terms of elementary functions. With the help of these precise solutions, an extensive program of computational experiments has been implemented, showing how the initial population density of the Gaussian form is dispersed by the considered two types of spatial heterogeneity of the local capacity of the ecological niche. These computational experiments have shown that when passing through both step-like and hill-like spatial inhomogeneities of the local capacity of an ecological niche with a narrow Gaussian width of its initial density compared to the characteristic spatial scale of these inhomogeneities, the system forgets its initial state. In particular, if we interpret the system under study as a population living in an extended calm rectilinear river along its bed, then it can be argued that under this initial condition, after the current of this river carries the population under consideration through the area of spatial heterogeneity of the local capacity of the ecological niche, the population density becomes a quasi-rectangular function.

Исследование логических детерминированных клеточноавтоматных моделей популяционной динамики позволяет выявлять детальные индивидуально-ориентированные механизмы функционирования экосистем. Выявление таких механизмов актуально в связи с проблемами, возникающими вследствие переэксплуатации природных ресурсов, загрязнения окружающей среды и изменения климата. Классические модели популяционной динамики имеют феноменологическую природу, так как являются «черными ящиками». Феноменологические модели принципиально затрудняют исследование локальных механизмов функционирования экосистем. Мы исследовали роль плодовитости и длительности восстановления ресурсов в механизмах популяционного роста, используя четыре модели экосистемы с одним видом. Эти модели являются логическими детерминированными клеточными автоматами и основаны на физической аксиоматике возбудимой среды с восстановлением. Было выявлено, что при увеличении времени восстановления ресурсов экосистемы происходит катастрофическая гибель популяции. Показано также, что большая плодовитость ускоряет исчезновения популяции. Исследованные механизмы важны для понимания механизмов устойчивого развития экосистем и сохранения биологического разнообразия. Обсуждаются перспективы представленного модельного подхода как метода прозрачного многоуровневого моделирования сложных систем.

Investigation of logical deterministic cellular automata models of population dynamics allows to reveal detailed individual-based mechanisms. The search for such mechanisms is important in connection with ecological problems caused by overexploitation of natural resources, environmental pollution and climate change. Classical models of population dynamics have the phenomenological nature, as they are “black boxes”. Phenomenological models fundamentally complicate research of detailed mechanisms of ecosystem functioning. We have investigated the role of fecundity and duration of resources regeneration in mechanisms of population growth using four models of ecosystem with one species. These models are logical deterministic cellular automata and are based on physical axiomatics of excitable medium with regeneration. We have modeled catastrophic death of population arising from increasing of resources regeneration duration. It has been shown that greater fecundity accelerates population extinction. The investigated mechanisms are important for understanding mechanisms of sustainability of ecosystems and biodiversity conservation. Prospects of the presented modeling approach as a method of transparent multilevel modeling of complex systems are discussed.

В случае повреждения сосуда или контакта плазмы крови с чужеродной поверхностью запускается цепь химических реакций (каскад свертывания), ведущая к формированию кровяного сгустка (тромба), основу которого составляют волокна фибрина. Ключевым компонентом каскада свертывания крови является фермент тромбин, катализирующий образование фибрина из фибриногена. Распределение концентрации тромбина определяет пространственно-временную динамику формирования кровяного сгустка. Контактный путь активации системы свертывания запускает реакцию образования тромбина в ответ на контакт с отрицательно заряженной поверхностью. Если концентрация тромбина, произведенного на этом этапе, достаточно велика, дальнейшее образование тромбина идет за счет положительных обратных связей каскада свертывания. В результате тромбин распространяется в плазме, что приводит к расщеплению фибриногена и формированию тромба. Профиль концентрации и скорость распространения тромбина в плазме постоянны и не зависят от того, как было активировано свертывание.

Подобное поведение системы свертывания хорошо описывается решениями типа бегущей волны в системе уравнений «реакция – диффузия» на концентрации факторов крови, принимающих участие в каскаде свертывания. В настоящей работе проводится подробный анализма тематической модели, описывающей основные реакции каскада свертывания. Формулируются необходимые и достаточные условия существования решений системы типа бегущей волны. Для рассмотренной модели существование таких решений является эквивалентным существованию волновых решений упрощенной модели, полученной с помощью квазистационарного приближения и состоящей из одного уравнения, описывающего динамику концентрации тромбина.

Упрощенная модель также позволяет нам получить аналитические оценки скорости распространения волны тромбина в рассматриваемых моделях. Скорость бегущей волны для одного уравнения была оценена с использованием метода узкой зоны реакции и с помощью кусочно-линейного приближения. Полученные формулы дают хорошее приближение скорости распространения волны тромбина как в упрощенной, так и в исходной модели.

In case of vessel wall damage or contact of blood plasma with a foreign surface, the chain of chemical reactions called coagulation cascade is launched that leading to the formation of a fibrin clot. A key enzyme of the coagulation cascade is thrombin, which catalyzes formation of fibrin from fibrinogen. The distribution of thrombin concentration in blood plasma determines spatio-temporal dynamics of clot formation. Contact pathway of blood coagulation triggers the production of thrombin in response to the contact with a negatively charged surface. If the concentration of thrombin generated at this stage is large enough, further production of thrombin takes place due to positive feedback loops of the coagulation cascade. As a result, thrombin propagates in plasma cleaving fibrinogen that results in the clot formation. The concentration profile and the speed of propagation of thrombin are constant and do not depend on the type of the initial activator.

Such behavior of the coagulation system is well described by the traveling wave solutions in a system of “reaction – diffusion” equations on the concentration of blood factors involved in the coagulation cascade. In this study, we carried out detailed analysis of the mathematical model describing the main reaction of the intrinsic pathway of coagulation cascade.We formulate necessary and sufficient conditions of the existence of the traveling wave solutions. For the considered model the existence of such solutions is equivalent to the existence of the wave solutions in the simplified one-equation model describing the dynamics of thrombin concentration derived under the quasi-stationary approximation.

Simplified model also allows us to obtain analytical estimate of the thrombin propagation rate in the considered model. The speed of the traveling wave for one equation is estimated using the narrow reaction zone method and piecewise linear approximation. The resulting formulas give a good approximation of the velocity of propagation of thrombin in the simplified, as well as in the original model.

Методами численного моделирования проведено исследование процессов взаимодействия осциллирующего солитона (бризера) с 180-градусной доменной стенкой нееловского типа в рамках (2 + 1)-мерной суперсимметричной О(3) нелинейной сигма-модели. Целью настоящей работы является исследование нелинейной эволюции и устойчивости системы взаимодействующих локализованных динамических и топологических решений. Для построения моделей взаимодействия были использованы стационарные бризерные решения и решения в виде доменных стенок, полученные в рамках двумерного уравнения синус-Гордона добавлением специально подобранных возмущений вектору А3-поля в изотопическом пространстве блоховской сферы. При отсутствии внешнего магнитного поля нелинейные сигма-модели обладают формальной лоренц-инвариантностью, которая позволяет построить, в частности, движущиеся решения и провести полный анализ экспериментальных данных нелинейной динамики системы взаимодействующих солитонов. В настоящей работе на основе полученных движущихся локализованных решений построены модели налетающих и лобовых столкновений бризеров с доменной стенкой, где, в зависимости от динамических параметров системы, наблюдаются процессы столкновения и отражения солитонов друг от друга, дальнодействующие взаимодействия, а также распад осциллирующего солитона на линейные волны возмущений. В отличие от бризерного решения, обладающего динамикой внутренней степени свободы, интеграл энергии топологически устойчивого солитона во всех проведенных экспериментах сохраняется с высокой точностью. Для каждого типа взаимодействия определен интервал значений скорости движения сталкивающихся динамических и топологических солитонов в зависимости от частоты вращения вектора А3-поля в изотопическом пространстве. Численные модели построены на основе методов теории конечных разностных схем, использованием свойств стереографической проекции, с учетом теоретико-групповых особенностей конструкций класса O(N) нелинейных сигма-моделей теории поля. По периметру двумерной области моделирования установлены специально разработанные граничные условия, которые поглощают линейные волны возмущений, излучаемые взаимодействующими солитонными полями. Таким образом, осуществлено моделирование процессов взаимодействия локализованных решений в бесконечном двумерном фазовом пространстве. Разработан программный модуль, позволяющий провести комплексный анализ эволюции взаимодействующих решений нелинейных сигма-моделей теории поля, с учетом ее групповых особенностей в двумерном псевдоевклидовом пространстве. Проведен анализ изоспиновой динамики, а также плотности и интеграла энергии системы взаимодействующих динамических и топологических солитонов.

By numerical simulation methods the interaction processes of oscillating soliton (breather) with a 180-degree Neel domain wall in the framework of a (2 + 1)-dimensional supersymmetric O(3) nonlinear sigma model is studied. The purpose of this paper is to investigate nonlinear evolution and stability of a system of interacting localized dynamic and topological solutions. To construct the interaction models, were used a stationary breather and domain wall solutions, where obtained in the framework of the two-dimensional sine-Gordon equation by adding specially selected perturbations to the A3-field vector in the isotopic space of the Bloch sphere. In the absence of an external magnetic field, nonlinear sigma models have formal Lorentz invariance, which allows constructing, in particular, moving solutions and analyses the experimental data of the nonlinear dynamics of an interacting solitons system. In this paper, based on the obtained moving localized solutions, models for incident and head-on collisions of breathers with a domain wall are constructed, where, depending on the dynamic parameters of the system, are observed the collisions and reflections of solitons from each other, a long-range interactions and also the decay of an oscillating soliton into linear perturbation waves. In contrast to the breather solution that has the dynamics of the internal degree of freedom, the energy integral of a topologically stable soliton in the all experiments the preserved with high accuracy. For each type of interaction, the range of values of the velocity of the colliding dynamic and topological solitons is determined as a function of the rotation frequency of the A3-field vector in the isotopic space. Numerical models are constructed on the basis of methods of the theory of finite difference schemes, using the properties of stereographic projection, taking into account the group-theoretical features of constructions of the O(N) class of nonlinear sigma models of field theory. On the perimeter of the two-dimensional modeling area, specially developed boundary conditions are established that absorb linear perturbation waves radiated by interacting soliton fields. Thus, the simulation of the interaction processes of localized solutions in an infinite two-dimensional phase space is carried out. A software module has been developed that allows to carry out a complex analysis of the evolution of interacting solutions of nonlinear sigma models of field theory, taking into account it’s group properties in a two-dimensional pseudo-Euclidean space. The analysis of isospin dynamics, as well the energy density and energy integral of a system of interacting dynamic and topological solitons is carried out.

Работа посвящена численному моделированию плоской неизотермической нелинейной фильтрации в пористой среде. Рассматривается двумерная нестационарная задача течения высоковязкой нефти, воды и пара с фазовыми переходами. Нефтяная фаза представлена двумя псевдокомпонентами: легкой и тяжелой фракциями, которые, как и водный компонент, могут присутствовать в газовой фазе. Нефть проявляет вязкопластическую реологию, ее фильтрация не подчиняется классическому линейному закону Дарси. При моделировании учтена не только зависимость плотности и вязкости флюидов от температуры, но и улучшение реологических свойств нефти с ростом температуры.

Для численного решения задачи применен метод линий тока с расщеплением по физическим процессам, заключающийся в отделении конвективного переноса, направленного вдоль скорости фильтрации, от теплопроводности и гравитации. Предложен новый подход применения метода линий тока, позволяющий корректно моделировать задачи нелинейной фильтрации с реологией, зависящей от температуры. Суть этого алгоритма заключается в рассмотрении процесса интегрирования как совокупности квазиравновесных состояний, которые достигаются путем решения системы на глобальной сетке и между которыми решение проводится на сетке из линий тока. Использование метода линий тока позволяет не только ускорить расчеты фильтрации, но и получить физически достоверную картину решения, так как интегрирование системы происходит на сетке, совпадающей с направлением течения флюидов.

Помимо метода линий тока, в работе представлен алгоритм учета негладких коэффициентов, возникающих при решении уравнения течения вязкопластической нефти. Использование этого алгоритма позволяет сохранить достаточно большой шаг по времени и не изменяет физическую картину решения.

Полученные результаты сопоставлены с известными аналитическими решениями, а также с результатами, полученными при расчете в коммерческом пакете. Анализ проведенных тестовых расчетов на сходимость по количеству линий тока, а также на разных сетках на линиях тока обосновывает применимость предлагаемого алгоритма, а уменьшение времени расчета, по сравнению с традиционными методами, демонстрирует практическую значимость этого подхода.

The paper contains numerical simulation of nonisothermal nonlinear flow in a porous medium. Twodimensional unsteady problem of heavy oil, water and steam flow is considered. Oil phase consists of two pseudocomponents: light and heavy fractions, which like the water component, can vaporize. Oil exhibits viscoplastic rheology, its filtration does not obey Darcy's classical linear law. Simulation considers not only the dependence of fluids density and viscosity on temperature, but also improvement of oil rheological properties with temperature increasing.

To solve this problem numerically we use streamline method with splitting by physical processes, which consists in separating the convective heat transfer directed along filtration from thermal conductivity and gravitation. The article proposes a new approach to streamline methods application, which allows correctly simulate nonlinear flow problems with temperature-dependent rheology. The core of this algorithm is to consider the integration process as a set of quasi-equilibrium states that are results of solving system on a global grid. Between these states system solved on a streamline grid. Usage of the streamline method allows not only to accelerate calculations, but also to obtain a physically reliable solution, since integration takes place on a grid that coincides with the fluid flow direction.

In addition to the streamline method, the paper presents an algorithm for nonsmooth coefficients accounting, which arise during simulation of viscoplastic oil flow. Applying this algorithm allows keeping sufficiently large time steps and does not change the physical structure of the solution.

Obtained results are compared with known analytical solutions, as well as with the results of commercial package simulation. The analysis of convergence tests on the number of streamlines, as well as on different streamlines grids, justifies the applicability of the proposed algorithm. In addition, the reduction of calculation time in comparison with traditional methods demonstrates practical significance of the approach.

Статья посвящена численному исследованию ударно-волновых течений в неоднородных средах — газовзвесях. В данной работе применяется двухскоростная двухтемпературная модель, в которой дисперсная компонента смеси имеет свою скорость и температуру. Для описания изменения концентрации дисперсной компоненты решается уравнение сохранения «средней плотности». В данном исследовании учитывались межфазное тепловое взаимодействие и межфазный обмен импульсом. Математическая модель позволяет описывать несущею фазу смеси как вязкую, сжимаемою и теплопроводную среду. Система уравнений решалась с помощью явного конечно-разностного метода Мак-Кормака второго порядка точности. Для получения монотонного численного решения к сеточной функции применялась схема нелинейной коррекции. В задаче ударно-волнового течения для составляющих скорости задавались однородные граничные условия Дирихле, для остальных искомых функций задавались граничные условия Неймана. В численных расчетах для того, чтобы выявить зависимость динамики всей смеси от свойств твердой компоненты, рассматривались различные параметры дисперсной фазы — объемное содержание, а также линейный размер дисперсных включений. Целью исследований было определить, каким образом свойства твердых включений влияют на параметры динамики несущей среды — газа. Исследовалось движение неоднородной среды в ударной трубе — канале, разделенном на две части; давление газа в одном из отсеков канала имело большее значение, чем в другом. В статье моделировались движение прямого скачка уплотнения из камеры высокого давления в камеру низкого давления, заполненную запыленной средой, последующее отражение ударной волны от твердой поверхности. Анализ численных расчетов показал, что уменьшение линейного размера частиц газовзвеси и увеличение физической плотности материала, из которого состоят частицы, приводят к формированию более интенсивной отраженной ударной волны с большей температурой и плотностью газа, а также меньшей скоростью движения отраженного возмущения и меньшей скоростью спутного потока газа в отраженной волне.

The article is devoted to the numerical study of shock-wave flows in inhomogeneous media–gas mixtures. In this work, a two-speed two-temperature model is used, in which the dispersed component of the mixture has its own speed and temperature. To describe the change in the concentration of the dispersed component, the equation of conservation of “average density” is solved. This study took into account interphase thermal interaction and interphase pulse exchange. The mathematical model allows the carrier component of the mixture to be described as a viscous, compressible and heat-conducting medium. The system of equations was solved using the explicit Mac-Cormack second-order finite-difference method. To obtain a monotone numerical solution, a nonlinear correction scheme was applied to the grid function. In the problem of shock-wave flow, the Dirichlet boundary conditions were specified for the velocity components, and the Neumann boundary conditions were specified for the other unknown functions. In numerical calculations, in order to reveal the dependence of the dynamics of the entire mixture on the properties of the solid component, various parameters of the dispersed phase were considered — the volume content as well as the linear size of the dispersed inclusions. The goal of the research was to determine how the properties of solid inclusions affect the parameters of the dynamics of the carrier medium — gas. The motion of an inhomogeneous medium in a shock duct divided into two parts was studied, the gas pressure in one of the channel compartments is more important than in the other. The article simulated the movement of a direct shock wave from a high-pressure chamber to a low–pressure chamber filled with a dusty medium and the subsequent reflection of a shock wave from a solid surface. An analysis of numerical calculations showed that a decrease in the linear particle size of the gas suspension and an increase in the physical density of the material from which the particles are composed leads to the formation of a more intense reflected shock wave with a higher temperature and gas density, as well as a lower speed of movement of the reflected disturbance reflected wave.

Реконструкция траекторий заряженных частиц в трековых детекторах является ключевой проблемой анализа экспериментальных данных для физики высоких энергий и ядерной физики. Поток данных в современных экспериментах растет день ото дня, и традиционные методы трекинга уже не в состоянии соответствовать этим объемам данных по скорости обработки. Для решения этой проблемы нами были разработаны два нейросетевых алгоритма, использующих методы глубокого обучения, для локальной (каждый трек в отдельности) и глобальной (все треки в событии) реконструкции треков применительно к данным трекового GEM-детектора эксперимента BM@N ОИЯИ. Преимущество глубоких нейронных сетей обусловлено их способностью к обнаружению скрытых нелинейных зависимостей в данных и возможностью параллельного выполнения операций линейной алгебры, лежащих в их основе.

В данной статье приведено описание исследования по обобщению этих алгоритмов и их адаптации к применению для внутреннего поддетектора CGEM (BESIII ИФВЭ, Пекин). Нейросетевая модель RDGraphNet для глобальной реконструкции треков, разработанная на основе реверсного орграфа, успешно адаптирована. После обучения на модельных данных тестирование показало обнадеживающие результаты: для распознавания треков полнота (recall) составила 98% и точность (precision) — 86%. Однако адаптация «локальной» нейросетевой модели TrackNETv2 потребовала учета специфики цилиндрического детектора CGEM (BESIII), состоящего всего из трех детектирующих слоев, и разработки дополнительного нейроклассификатора для отсева ложных треков. Полученная программа TrackNETv2.1 протестирована в отладочном режиме. Значение полноты на первом этапе обработки составило 99%. После применения классификатора точность составила 77%, при незначительном снижении показателя полноты до 94%. Данные результаты предполагают дальнейшее совершенствование модели локального трекинга.

The reconstruction of charged particle trajectories in tracking detectors is a key problem in the analysis of experimental data for high energy and nuclear physics.

The amount of data in modern experiments is so large that classical tracking methods such as Kalman filter can not process them fast enough. To solve this problem, we have developed two neural network algorithms of track recognition, based on deep learning architectures, for local (track by track) and global (all tracks in an event) tracking in the GEM tracker of the BM@N experiment at JINR (Dubna). The advantage of deep neural networks is the ability to detect hidden nonlinear dependencies in data and the capability of parallel execution of underlying linear algebra operations.

In this work we generalize these algorithms to the cylindrical GEM inner tracker of BESIII experiment. The neural network model RDGraphNet for global track finding, based on the reverse directed graph, has been successfully adapted. After training on Monte Carlo data, testing showed encouraging results: recall of 98% and precision of 86% for track finding.

The local neural network model TrackNETv2 was also adapted to BESIII CGEM successfully. Since the tracker has only three detecting layers, an additional neuro-classifier to filter out false tracks have been introduced. Preliminary tests demonstrated the recall value at the first stage of 99%. After applying the neuro-classifier, the precision was 77% with a slight decrease of the recall to 94%. This result can be improved after the further model optimization.

В настоящей работе исследован турбулентный поток Тейлора – Куэтта с помощью двухмерного моделирования на базе осредненных уравнений Навье – Стокса (RANS) и нового двухжидкостного подхода к турбулентности при числах Рейнольдса в диапазоне от 1000 до 8000. Исследуется течение, обусловленное вращающимся внутренним и неподвижным внешним цилиндрами. Рассмотрен случай соотношения диаметров цилиндров 1:2. Известно, что возникающее круговое течение характеризуется анизотропной турбулентностью и математическое моделирование таких потоков является сложной задачей. Для описания таких потоков используются либо методы прямого моделирования, которые требуют больших вычислительных затрат, либо достаточно трудоемкие методы рейнольдсовых напряжений или же линейные RANS-модели со специальными поправками на вращение, которые способны описывать анизотропную турбулентность. В работе для сравнения различных подходов к моделированию турбулентности представлены численные результаты линейных RANS-моделей SARC, SST-RC, метода рейнольдсовых напряжений SSG/LRR-RSM-w2012, прямого моделирования турбулентности DNS, а также новой двухжидкостной модели. Показано, что недавно разработанная двухжидкостная модель адекватно описывает рассматриваемый поток. Помимо этого, двухжидкостная модель проста для численной реализации и имеет хорошую сходимость.

In this paper, the turbulent Taylor – Couette flow is investigated using two-dimensional modeling based on the averaged Navier – Stokes (RANS) equations and a new two-fluid approach to turbulence at Reynolds numbers in the range from 1000 to 8000. The flow due to a rotating internal and stationary external cylinders. The case of ratio of cylinder diameters 1:2 is considered. It is known that the emerging circular flow is characterized by anisotropic turbulence and mathematical modeling of such flows is a difficult task. To describe such flows, either direct modeling methods are used, which require large computational costs, or rather laborious Reynolds stress methods, or linear RANS models with special corrections for rotation, which are able to describe anisotropic turbulence. In order to compare different approaches to turbulence modeling, the paper presents the numerical results of linear RANS models SARC, SST-RC, Reynolds stress method SSG/LRR-RSM-w2012, DNS direct turbulence modeling, as well as a new two-fluid model. It is shown that the recently developed twofluid model adequately describes the considered flow. In addition, the two-fluid model is easy to implement numerically and has good convergence.