Все выпуски

Модернизация методики аэродинамического эксперимента на современном уровне подразумевает создание математических моделей аэродинамических труб (электронных АДТ), предназначенных для вычислительного сопровождения экспериментальных исследований. Применение электронных АДТ в перспективе способно обеспечить получение достоверных аэродинамических характеристик летательных аппаратов по результатам исследования их моделей в аэродинамических трубах, согласования результатов, полученных на разных экспериментальных установках, сравнения расчетов моделей в безграничном потоке с учетом влияния подвесных устройств и границ потока в рабочей части экспериментальной установки.

Решение данной задачи требует создания научного задела, что, в свою очередь, подразумевает выполнение экспериментальных методических исследований и обширного комплекса расчетных исследований на основе численного решения осредненных по Рейнольдсу уравнений Навье–Стокса с применением суперкомпьютерных технологий. При этом на различных этапах расчетных исследований необходимо моделировать не только летательный аппарат, но и комплексную геометрию рабочей части аэродинамической трубы и подвесных устройств, что требует дополнительных методических расчетов. Также определенные трудности может представлять моделирование ламинарно-турбулентного перехода на поверхности модели, который в большинстве случаев имеет место в условиях эксперимента.

В данной работе представлены результаты расчетов аэродинамических характеристик тематической модели летательного аппарата схемы «летающее крыло» в безграничном потоке при разных углах атаки, полученные в рамках первого этапа работы по созданию математической модели рабочей части аэродинамической трубы Т-102 ЦАГИ. Расчеты выполнялись с использованием двухпараметрической k–ε модели турбулентности со специальными пристеночными функциями, приспособленными для расчета отрывных течений. В рамках данной работы исследовались основные продольные аэродинамические характеристики, было выполнено сравнение с результатами экспериментальных исследований в аэродинамической трубе Т-102 ЦАГИ с учетом погрешностей.

Modern approach to modernization of the experimental techniques involves design of mathematical models of the wind-tunnel, which are also referred to as Electronic of Digital Wind-Tunnels. They are meant to supplement experimental data with computational analysis. Using Electronic Wind-Tunnels is supposed to provide accurate information on aerodynamic performance of an aircraft basing on a set of experimental data, to obtain agreement between data from different test facilities and perform comparison between computational results for flight conditions and data with the presence of support system and test section.

Completing this task requires some preliminary research, which involves extensive wind-tunnel testing as well as RANS-based computational research with the use of supercomputer technologies. At different stages of computational investigation one may have to model not only the aircraft itself but also the wind-tunnel test section and the model support system. Modelling such complex geometries will inevitably result in quite complex vertical and separated flows one will have to simulate. Another problem is that boundary layer transition is often present in wind-tunnel testing due to quite small model scales and therefore low Reynolds numbers.

In the current article the first stage of the Electronic Wind-Tunnel design program is covered. This stage involves computational investigation of aerodynamic characteristics of the generic flying-wing UAV model previously tested in TsAGI T-102 wind-tunnel. Since this stage is preliminary the model was simulated without taking test-section and support system geometry into account. The boundary layer was considered to be fully turbulent.

For the current research FlowVision computational code was used because of its automatic grid generation feature and stability of the solver when simulating complex flows. A two-equation k–ε turbulence model was used with special wall functions designed to properly capture flow separation. Computed lift force and drag force coefficients for different angles-of-attack were compared to the experimental data.

В рамках современной неравновесной термодинамики (макроскопического подхода описания и математического моделирования динамики реальных физико-химических процессов) авторами был разработан потенциально-потоковый метод описания и математического моделирования этих процессов, применимый в общем случае реальных макроскопических физико-химических систем. В соответствии с этим методом описание и математическое моделирование этих процессов заключаются в определении через потенциалы взаимодействия термодинамических сил, движущих эти процессы, и кинетической матрицы, определяемой кинетическими свойствами рассматриваемой системы, которые, в свою очередь, определяют динамику протекания физико-химических процессов в этой системе под действием термо-динамических сил в ней. Зная термодинамические силы и кинетическую матрицу системы, определяются скорости протекания физико-химических процессов в системе, а через эти скорости согласно законам сохранения определяются скорости изменения ее координат состояния. Получается, таким образом, замкнутая система уравнений физико-химических процессов в системе. Зная потенциалы взаимодействия в системе, кинетические матрицы ее простых подсистем (отдельных процессов, сопряженных между собой и не сопряженных с другими процессами), коэффициенты, входящие в законы сохранения, начальное состояние рассматриваемой системы, внешние потоки в нее, можно получить полную динамику физико-химических процессов в этой системе. Однако в случае сложной физико-химической системы, в которой протекает большое количество физико-химических процессов, размерность системы уравнений этих процессов становится соответствующей. Отсюда возникает проблема автоматизации формирования описанной системы уравнений динамики физико-химических процессов в рассматриваемой системе. В настоящей статье разрабатывается архитектура библиотеки программных типов данных, реализующих заданную пользователем физико-химическую систему на уровне ее расчетной схемы (координат состояния системы, энергетических степеней свободы, физико-химических процессов, в ней протекающих, внешних потоков и взаимосвязи между этими перечисленными компонентами) и алгоритмов задания ссылок в этих типах данных, а также расчета описанных параметров системы.

In the framework of modern non-equilibrium thermodynamics (macroscopic approach of description and mathematical modeling of the dynamics of real physical and chemical processes), the authors developed a potential- flow method for describing and mathematical modeling of real physical and chemical processes applicable in the general case of real macroscopic physicochemical systems. In accordance with the potential-flow method, the description and mathematical modeling of these processes consists in determining through the interaction potentials of the thermodynamic forces driving these processes and the kinetic matrix determined by the kinetic properties of the system in question, which in turn determine the dynamics of the course of physicochemical processes in this system under the influence of the thermodynamic forces in it. Knowing the thermodynamic forces and the kinetic matrix of the system, the rates of the flow of physicochemical processes in the system are determined, and according to these conservation laws the rates of change of its state coordinates are determined. It turns out in this way a closed system of equations of physical and chemical processes in the system. Knowing the interaction potentials in the system, the kinetic matrices of its simple subsystems (individual processes that are conjugate to each other and not conjugate with other processes), the coefficients entering into the conservation laws, the initial state of the system under consideration, external flows into the system, one can obtain a complete dynamics of physicochemical processes in the system. However, in the case of a complex physico-chemical system in which a large number of physicochemical processes take place, the dimension of the system of equations for these processes becomes appropriate. Hence, the problem arises of automating the formation of the described system of equations of the dynamics of physical and chemical processes in the system under consideration. In this article, we develop a library of software data types that implement a user-defined physicochemical system at the level of its design scheme (coordinates of the state of the system, energy degrees of freedom, physico-chemical processes, flowing, external flows and the relationship between these listed components) and algorithms references in these types of data, as well as calculation of the described system parameters. This library includes both program types of the calculation scheme of the user-defined physicochemical system, and program data types of the components of this design scheme (coordinates of the system state, energy degrees of freedom, physicochemical processes, flowing, external flows). The relationship between these components is carried out by reference (index) addressing. This significantly speeds up the calculation of the system characteristics, because faster access to data.

В статье рассматривается математическая модель декомпозиции сложного изделия на сборочные единицы. Это важная инженерная задача, которая влияет на организацию дискретного производства и его и оперативное управление. Приведен обзор современных подходов к математическому моделированию и автоматизированному синтезу декомпозиций. В них математическими моделями структур технических систем служат графы, сети, матрицы и др. Эти модели описывают механическую структуру как бинарное отношение на множестве элементов системы. Геометрическая координация и целостность машин и механических приборов в процессе изготовления достигаются при помощи базирования. В общем случае базирование может осуществляться относительно нескольких элементов одновременно. Поэтому оно представляет собой отношение переменной местности, которое не может быть корректно описано в терминах бинарных математических структур. Описана новая гиперграфовая модель механической структуры технической системы. Эта модель позволяет дать точную и лаконичную формализацию сборочных операций и процессов. Рассматриваются сборочные операции, которые выполняются двумя рабочими органами и заключаются в реализации механических связей. Такие операции называются когерентными и секвенциальными. Это преобладающий тип операций в современной промышленной практике. Показано, что математическим описанием такой операции является нормальное стягивание ребра гиперграфа. Последовательность стягиваний, трансформирующая гиперграф в точку, представляет собой математическую модель сборочного процесса. Приведены доказанные автором две важные теоремы о свойствах стягиваемых гиперграфов и подграфов. Введено понятие $s$-гиперграфа. $S$-гиперграфы являются корректными математическими моделями механических структур любых собираемых технических систем. Декомпозиция изделия на сборочные единицы поставлена как разрезание $s$-гиперграфа на $s$-подграфы. Задача разрезания описана в терминах дискретного математического программирования. Получены математические модели структурных, топологических и технологических ограничений. Предложены целевые функции, формализующие оптимальный выбор проектных решений в различных ситуациях. Разработанная математическая модель декомпозиции изделия является гибкой и открытой. Она допускает расширения, учитывающие особенности изделия и его производства.

The article considers a mathematical model of decomposition of a complex product into assembly units. This is an important engineering problem, which affects the organization of discrete production and its operational management. A review of modern approaches to mathematical modeling and automated computer-aided of decompositions is given. In them, graphs, networks, matrices, etc. serve as mathematical models of structures of technical systems. These models describe the mechanical structure as a binary relation on a set of system elements. The geometrical coordination and integrity of machines and mechanical devices during the manufacturing process is achieved by means of basing. In general, basing can be performed on several elements simultaneously. Therefore, it represents a variable arity relation, which can not be correctly described in terms of binary mathematical structures. A new hypergraph model of mechanical structure of technical system is described. This model allows to give an adequate formalization of assembly operations and processes. Assembly operations which are carried out by two working bodies and consist in realization of mechanical connections are considered. Such operations are called coherent and sequential. This is the prevailing type of operations in modern industrial practice. It is shown that the mathematical description of such operation is normal contraction of an edge of the hypergraph. A sequence of contractions transforming the hypergraph into a point is a mathematical model of the assembly process. Two important theorems on the properties of contractible hypergraphs and their subgraphs proved by the author are presented. The concept of $s$-hypergraphs is introduced. $S$-hypergraphs are the correct mathematical models of mechanical structures of any assembled technical systems. Decomposition of a product into assembly units is defined as cutting of an $s$-hypergraph into $s$-subgraphs. The cutting problem is described in terms of discrete mathematical programming. Mathematical models of structural, topological and technological constraints are obtained. The objective functions are proposed that formalize the optimal choice of design solutions in various situations. The developed mathematical model of product decomposition is flexible and open. It allows for extensions that take into account the characteristics of the product and its production.

В данной работе рассматриваются задачи выпуклой стохастической оптимизации, возникающие в анализе данных (минимизация функции риска), а также в математической статистике (минимизация функции правдоподобия). Такие задачи могут быть решены как онлайн-, так и офлайн-методами (метод Монте-Карло). При офлайн-подходе исходная задача заменяется эмпирической задачей — задачей минимизации эмпирического риска. В современном машинном обучении ключевым является следующий вопрос: какой размер выборки (количество слагаемых в функционале эмпирического риска) нужно взять, чтобы достаточно точное решение эмпирической задачи было решением исходной задачи с заданной точностью. Базируясь на недавних существенных продвижениях в машинном обучении и оптимизации для решения выпуклых стохастических задач на евклидовых шарах (или всем пространстве), мы рассматриваем случай произвольных шаров в $p$-нормах и исследуем, как влияет выбор параметра $p$ на оценки необходимого числа слагаемых в функции эмпирического риска.

В данной работе рассмотрены как выпуклые задачи оптимизации, так и седловые. Для сильно выпуклых задач были обобщены уже имеющиеся результаты об одинаковых размерах выборки в обоих подходах (онлайн и офлайн) на произвольные нормы. Более того, было показано, что условие сильной выпуклости может быть ослаблено: полученные результаты справедливы для функций, удовлетворяющих условию квадратичного роста. В случае когда данное условие не выполняется, предлагается использовать регуляризацию исходной задачи в произвольной норме. В отличие от выпуклых задач седловые задачи являются намного менее изученными. Для седловых задач размер выборки был получен при условии $\gamma$-роста седловой функции по разным группам переменных. Это условие при $\gamma = 1$ есть не что иное, как аналог условия острого минимума в выпуклых задач. В данной статье было показано, что размер выборки в случае острого минимума (седла) почти не зависит от желаемой точности решения исходной задачи.

In this paper, we consider convex stochastic optimization problems arising in machine learning applications (e. g., risk minimization) and mathematical statistics (e. g., maximum likelihood estimation). There are two main approaches to solve such kinds of problems, namely the Stochastic Approximation approach (online approach) and the Sample Average Approximation approach, also known as the Monte Carlo approach, (offline approach). In the offline approach, the problem is replaced by its empirical counterpart (the empirical risk minimization problem). The natural question is how to define the problem sample size, i. e., how many realizations should be sampled so that the quite accurate solution of the empirical problem be the solution of the original problem with the desired precision. This issue is one of the main issues in modern machine learning and optimization. In the last decade, a lot of significant advances were made in these areas to solve convex stochastic optimization problems on the Euclidean balls (or the whole space). In this work, we are based on these advances and study the case of arbitrary balls in the $p$-norms. We also explore the question of how the parameter $p$ affects the estimates of the required number of terms as a function of empirical risk.

In this paper, both convex and saddle point optimization problems are considered. For strongly convex problems, the existing results on the same sample sizes in both approaches (online and offline) were generalized to arbitrary norms. Moreover, it was shown that the strong convexity condition can be weakened: the obtained results are valid for functions satisfying the quadratic growth condition. In the case when this condition is not met, it is proposed to use the regularization of the original problem in an arbitrary norm. In contradistinction to convex problems, saddle point problems are much less studied. For saddle point problems, the sample size was obtained under the condition of $\gamma$-growth of the objective function. When $\gamma = 1$, this condition is the condition of sharp minimum in convex problems. In this article, it was shown that the sample size in the case of a sharp minimum is almost independent of the desired accuracy of the solution of the original problem.

Даже беглый взгляд на впечатляющее множество современных работ по математическому моделированию популяционной динамики позволяет заключить, что основной интерес авторов сосредоточен вокруг двух-трех ключевых направлений исследований, связанных с описанием и анализом динамики, либо отдельных структурированных популяций, либо систем однородных популяций, взаимодействующих между собой в экологическом сообществе или (и) в физическом пространстве. В рамках данной работы приводится обзор и систематизируются научные исследования и результаты, полученные на сегодняшний день в ходе развития идей и подходов математического моделирования динамики структурированных и взаимодействующих популяций. В вопросах моделирования динамики численности изолированных популяций описана эволюция научных идей по пути усложнения моделей — от классической модели Мальтуса до современных моделей, учитывающих множество факторов, влияющих на популяционную динамику. В частности, рассматриваются динамические эффекты, к которым приводит учет экологической емкости среды, плотностно-зависимая регуляция, эффект Олли, усложнение возрастной и стадийной структуры. Особое внимание уделяется вопросам мультистабильности популяционной динамики. Кроме того, представлены исследования, в которых анализируется влияние промыслового изъятия на динамику структурированных популяций и возникновение эффекта гидры. Отдельно рассмотрены вопросы возникновения и развития пространственных диссипативных структур в пространственно разобщенных популяциях и сообществах, связанных миграциями. Здесь особое внимание уделяется вопросам частотной и фазовой мультистабильности популяционной динамики, а также возникновению пространственных кластеров. В ходе систематизации и обзора задач, посвященных моделированию динамики взаимодействующих популяций, основное внимание уделяется сообществу «хищник–жертва». Представлены ключевые идеологические подходы, применяемые в современной математической биологии при моделировании систем типа «хищник–жертва», в том числе с учетом структуры сообщества и промыслового изъятия. Кратко освещены вопросы возникновения и сохранения мозаичной структуры в пространственно распределенных и миграционно связанных сообществах.

The review and systematization of current papers on the mathematical modeling of population dynamics allow us to conclude the key interests of authors are two or three main research lines related to the description and analysis of the dynamics of both local structured populations and systems of interacting homogeneous populations as ecological community in physical space. The paper reviews and systematizes scientific studies and results obtained within the framework of dynamics of structured and interacting populations to date. The paper describes the scientific idea progress in the direction of complicating models from the classical Malthus model to the modern models with various factors affecting population dynamics in the issues dealing with modeling the local population size dynamics. In particular, they consider the dynamic effects that arise as a result of taking into account the environmental capacity, density-dependent regulation, the Allee effect, complexity of an age and a stage structures. Particular attention is paid to the multistability of population dynamics. In addition, studies analyzing harvest effect on structured population dynamics and an appearance of the hydra effect are presented. The studies dealing with an appearance and development of spatial dissipative structures in both spatially separated populations and communities with migrations are discussed. Here, special attention is also paid to the frequency and phase multistability of population dynamics, as well as to an appearance of spatial clusters. During the systematization and review of articles on modeling the interacting population dynamics, the focus is on the “prey–predator” community. The key idea and approaches used in current mathematical biology to model a “prey–predator” system with community structure and harvesting are presented. The problems of an appearance and stability of the mosaic structure in communities distributed spatially and coupled by migration are also briefly discussed.

В статье изложены основные положения методики расчета отделения полезной нагрузки (объектов различного назначения с собственным движительным комплексом) от подводного носителя методом самовыхода с использованием современных методов численной гидродинамики (CFD-технологий). Приводится описание метода отделения самовыходом, его достоинства и недостатки. Приводятся результаты исследования сходимости по сетке конечно-объемной модели по критерию «точность–время», а также результаты сопоставления расчета с экспериментом (валидации модели). Валидация модели проводилась по имеющимся данным экспериментального определения тяговых характеристик водометного движительного комплекса натурного образца в опытовом бассейне. Расчеты тяговых характеристик водометного движительного комплекса проводились с применением программного комплекса FlowVision версии 3.10. На основании сопоставления результатов расчетов для условий проведения экспериментов была определена погрешность расчетной модели водометного движительного комплекса, которая составила не более 5 % в диапазоне поступей работы водометного движительного комплекса, реализуемых в процессе отделения методом самовыхода. Полученное значение погрешности расчета тяговых характеристик используется для определения предельных расчетных значений скорости отделения объекта от носителя (минимальные и максимальные значения). Рассмотренная задача является значимой с научной точки зрения благодаря особенностям подхода к моделированию водометного движительного комплекса совместно с движением отделяемого объекта, а также с практической точки зрения благодаря возможности получения с высокой степенью достоверности параметров отделения объектов от подводных аппаратов методом самовыхода, условия работы которых предполагают движение в замкнутых объемах, уже на стадии проектирования.

The article describes the basic approaches of the calculation procedure of payload swim-out (objects of different function with own propulsor) from the underwater carrier a method of a self-exit using modern CFD technologies. It contains the description of swim-out by a self-exit method, its advantages and disadvantages. Also it contains results of research of convergence on a grid of a final-volume model with accuracy-time criterion, and results of comparison of calculation with experiment (validation of models). Validation of models was carried out using the available data of experimental definition of traction characteristics of water-jet propulsor of the natural sample in the development pool. Calculations of traction characteristics of water-jet propulsor were carried out via software package FlowVision ver. 3.10. On the basis of comparison of results of calculations for conditions of carrying out of experiments the error of water-jet propulsor calculated model which has made no more than 5% in a range of advance coefficient water-jet propulsor, realised in the process of swim-out by a selfexit method has been defined. The received value of an error of calculation of traction characteristics is used for definition of limiting settlement values of speed of branch of object from the carrier (the minimum and maximum values). The considered problem is significant from the scientific point of view thanks to features of the approach to modelling hydrojet moving system together with movement of separated object, and also from the practical point of view, thanks to possibility of reception with high degree of reliability of parametres swim-out of objects from sea bed vehicles a method of the self-exit which working conditions are assumed by movement in the closed volumes, already on a design stage.

Актин — консервативный структурный белок, который экспрессируется в клетках всех эукариот. При полимеризации он образует длинные нити фибриллярного актина, или F-актина, которые участвуют в формировании цитоскелета, в мышечном сокращении и его регуляции, а также во многих других процессах. Динамические и механические свойства актина важны для взаимодействия с другими белками и реализации его многочисленных функций в клетке. Мы провели молекулярно-динамические (МД) расчеты сегмента актиновой нити, состоящего из 24 мономеров, в отсутствие и в присутствии MgADP, с явным учетом растворителя и при физиологи- ческой ионной силе при 300 К длительностью 204,8 нс в силовых полях AMBER99SB-ILDN и CHARMM36 в программной среде GROMACS, используя в качестве исходной структуры современные структурные модели, полученные методом криоэлектронной микроскопии высокого разрешения. МД-расчеты показали, что стационарный режим флуктуаций структуры длинного сегмента F-актина вырабатывается через 80–100 нс после начала МД-траектории. По результатам МД-расчетов оценили основные параметры спирали актина и ее изгибную, продольную и торсионную жесткости, используя участок расчетной модели, достаточно далеко отстоящий от ее концов. Оцененные значения шага (2,72–2,75 нм) и угла (165–168^◦) спирали F-актина, его изгибной (2,8–4,7 · 10⁻²⁶ Н · м²), продольной (36–47 · 10⁻⁹ Н) и торсионной (2,6–3,1 · 10⁻²⁶ Н · м²) жесткости хорошо согласуются с результатами наиболее надежных экспериментов. Результаты МД-расчетов показали, что современные структурные модели F-актина позволяют достаточно аккуратно описать его динамику и механические свойства при условии использования расчет- ных моделей, содержащих достаточно большое количество мономеров, современных силовых полей и относительно длинных МД-траекторий. Включение в МД-модели белков-партнеров актина, в частности тропомиозина и тропонина, может помочь понять молекулярные механизмы таких важных процессов, как регуляция мышечного сокращения.

Actin is a conserved structural protein that is expressed in all eukaryotic cells. When polymerized, it forms long filaments of fibrillar actin, or F-actin, which are involved in the formation of the cytoskeleton, in muscle contraction and its regulation, and in many other processes. The dynamic and mechanical properties of actin are important for interaction with other proteins and the realization of its numerous functions in the cell. We performed 204.8 ns long molecular dynamics (MD) simulations of an actin filament segment consisting of 24 monomers in the absence and the presence of MgADP at 300 K in the presence of a solvent and at physiological ionic strength using the AMBER99SBILDN and CHARMM36 force fields in the GROMACS software environment, using modern structural models as the initial structure obtained by high-resolution cryoelectron microscopy. MD calculations have shown that the stationary regime of fluctuations in the structure of the F-actin long segment is developed 80–100 ns after the start of the MD trajectory. Based on the results of MD calculations, the main parameters of the actin helix and its bending, longitudinal, and torsional stiffness were estimated using a section of the calculation model that is far enough away from its ends. The estimated subunit axial (2.72–2.75 nm) and angular (165–168^◦) translation of the F-actin helix, its bending (2.8–4.7 · 10⁻²⁶ N·m²), longitudinal (36–47·10⁻⁹ N), and torsional (2.6–3.1·10⁻²⁶ N·m²) stiffness are in good agreement with the results of the most reliable experiments. The results of MD calculations have shown that modern structural models of F-actin make it possible to accurately describe its dynamics and mechanical properties, provided that computational models contain a sufficiently large number of monomers, modern force fields, and relatively long MD trajectories are used. The inclusion of actin partner proteins, in particular, tropomyosin and troponin, in the MD model can help to understand the molecular mechanisms of such important processes as the regulation of muscle contraction.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

As the population of cities grows, the need to plan for the development of transport infrastructure becomes more acute. For this purpose, transport modeling packages are created. These packages usually contain a set of convex optimization problems, the iterative solution of which leads to the desired equilibrium distribution of flows along the paths. One of the directions for the development of transport modeling is the construction of more accurate generalized models that take into account different types of passengers, their travel purposes, as well as the specifics of personal and public modes of transport that agents can use. Another important direction of transport models development is to improve the efficiency of the calculations performed. Since, due to the large dimension of modern transport networks, the search for a numerical solution to the problem of equilibrium distribution of flows along the paths is quite expensive. The iterative nature of the entire solution process only makes this worse. One of the approaches leading to a reduction in the number of calculations performed is the construction of consistent models that allow to combine the blocks of a 4-stage model into a single optimization problem. This makes it possible to eliminate the iterative running of blocks, moving from solving a separate optimization problem at each stage to some general problem. Early work has proven that such approaches provide equivalent solutions. However, it is worth considering the validity and interpretability of these methods. The purpose of this article is to substantiate a single problem, that combines both the calculation of the trip matrix and the modal choice, for the generalized case when there are different layers of demand, types of agents and classes of vehicles in the transport network. The article provides possible interpretations for the gauge parameters used in the problem, as well as for the dual factors associated with the balance constraints. The authors of the article also show the possibility of combining the considered problem with a block for determining network load into a single optimization problem.

Число работ, посвященных прогнозированию инфекционной заболеваемости, стремительно растет по мере появления статистики, позволяющей провести анализ. В настоящей статье представлен обзор основных решений, доступных сегодня для формирования как краткосрочных, так и долгосрочных проекций заболеваемости; указаны их ограничения и возможности практического применения. Рассмотрены традиционные методы анализа временных рядов — регрессионные и авторегрессионные модели; подходы, опирающиеся на машинное обучение — байесовские сети и искусственные нейронные сети; рассуждения на основе прецедентов; техники, базирующиеся на решении задачи фильтрации. Перечислены важнейшие направления разработки математических моделей распространения заболевания: классические аналитические модели, детерминированные и стохастические, а также современные имитационные модели, сетевые и агентные.

The number of papers addressing the forecasting of the infectious disease morbidity is rapidly growing due to accumulation of available statistical data. This article surveys the major approaches for the shortterm and the long-term morbidity forecasting. Their limitations and the practical application possibilities are pointed out. The paper presents the conventional time series analysis methods — regression and autoregressive models; machine learning-based approaches — Bayesian networks and artificial neural networks; case-based reasoning; filtration-based techniques. The most known mathematical models of infectious diseases are mentioned: classical equation-based models (deterministic and stochastic), modern simulation models (network and agent-based).