Все выпуски

Предложена модель динамики обилия фитопланктона в зависимости от изменения содержания хлорофилла в фитопланктоне под воздействием меняющихся условий среды обитания. Модель учитывает зависимость роста биомассы от условий среды, а также от фотосинтетической активности хлорофилла. Выделены световая и темновая стадии фотосинтеза. Описываются процессы расходования хлорофилла при фотосинтезе на свету и нарастания массы хлорофилла вместе с биомассой фитопланктона. Учитываются условия среды в виде минеральных питательных веществ, освещенности и температуры воды. Модель является распределенной, пространственная переменная соответствует массовой доле хлорофилла в фитопланктоне. Тем самым учтены возможные разбросы доли хлорофилла в фитопланктоне. В модели рассчитывается плотность распределения фитопланктона по доле хлорофилла в нем. Кроме того, вычисляется скорость продуцирования новой биомассы фитопланктона. Параллельно рассмотрены точечные аналоги распределенной модели. В моделях исследованы свойства решений. Продемонстрирована суточная и сезонная, в течение года, динамика распределения фитопланктона по доле хлорофилла. Указаны характеристики скорости первичного продуцирования в суточно или сезонно меняющихся условиях среды. Модельные характеристики динамики роста биомассы фитопланктона показывают, что на свету этот рост примерно в два раза больше, чем в темноте. Это показывает, что освещенность существенно влияет на скорость продуцирования. Сезонная динамика демонстрирует ускоренный рост биомассы весной и осенью. Весенний максимум связан с потеплением в условиях накопленных зимой биогенных веществ, а осенний (несколько меньший) максимум — с накоплением биогенов при летнем спаде биомассы фитопланктона. А биомасса летом уменьшается опять-таки из-за дефицита биогенов. Таким образом, в присутствии света основную роль в динамике фитопланктона играет минеральное питание.

В целом модель демонстрирует качественно похожую на классические представления динамику биомассы фитопланктона при суточных и сезонных изменениях окружающей среды. Модель представляется пригодной для оценок биопродуктивности водных экосистем. Она может быть дополнена уравнениями и членами уравнений для более подробного описания сложных процессов фотосинтеза. Введение переменных физического пространства обитания и сопряжение модели со спутниковой информацией о поверхности водоема ведут к модельным оценкам биопродуктивности обширных морских районов.

A model of the phytoplankton abundance dynamics depending on changes in the content of chlorophyll in phytoplankton under the influence of changing environmental conditions is proposed. The model takes into account the dependence of biomass growth on environmental conditions, as well as on photosynthetic chlorophyll activity. The light and dark stages of photosynthesis have been identified. The processes of chlorophyll consumption during photosynthesis in the light and the growth of chlorophyll mass together with phytoplankton biomass are described. The model takes into account environmental conditions such as mineral nutrients, illumination and water temperature. The model is spatially distributed, the spatial variable corresponds to mass fraction of chlorophyll in phytoplankton. Thereby possible spreads of the chlorophyll contents in phytoplankton are taken into consideration. The model calculates the density distribution of phytoplankton by the proportion of chlorophyll in it. In addition, the rate of production of new phytoplankton biomass is calculated. In parallel, point analogs of the distributed model are considered. The diurnal and seasonal (during the year) dynamics of phytoplankton distribution by chlorophyll fraction are demonstrated. The characteristics of the rate of primary production in daily or seasonally changing environmental conditions are indicated. Model characteristics of the dynamics of phytoplankton biomass growth show that in the light this growth is about twice as large as in the dark. It shows, that illumination significantly affects the rate of production. Seasonal dynamics demonstrates an accelerated growth of biomass in spring and autumn. The spring maximum is associated with warming under the conditions of biogenic substances accumulated in winter, and the autumn, slightly smaller maximum, with the accumulation of nutrients during the summer decline in phytoplankton biomass. And the biomass in summer decreases, again due to a deficiency of nutrients. Thus, in the presence of light, mineral nutrition plays the main role in phytoplankton dynamics.

In general, the model demonstrates the dynamics of phytoplankton biomass, qualitatively similar to classical concepts, under daily and seasonal changes in the environment. The model seems to be suitable for assessing the bioproductivity of aquatic ecosystems. It can be supplemented with equations and terms of equations for a more detailed description of complex processes of photosynthesis. The introduction of variables in the physical habitat space and the conjunction of the model with satellite information on the surface of the reservoir leads to model estimates of the bioproductivity of vast marine areas. Introduction of physical space variables habitat and the interface of the model with satellite information about the surface of the basin leads to model estimates of the bioproductivity of vast marine areas.

Работа посвящена изучению волновых и релаксационных эффектов при импульсном истечении смеси газа с большим содержанием твердых частиц из цилиндрического канала при его начальном частичном заполнении. Задача сформулирована в двухскоростной двухтемпературной постановке и решалась численно гибридным методом крупных частиц второго порядка аппроксимации. Численный алгоритм реализован в виде параллельных вычислений с использованием базовых языковых средств Free Pascal. Применимость и точность метода для волновых потоков концентрированных газовзвесей подтверждены сопоставлением с тестовыми асимптотически точными решениями. Погрешность расчета на сетке невысокой детализации вх арактерных зонах течения двухфазной среды составила 10⁻⁶ . . . 10⁻⁵.

На основе волновой диаграммы выполнен анализ физической картины истечении газовзвеси, частично заполняющей цилиндрический канал. Установлено, что в зависимости от степени начального заполнения канала формируются различные режимы истечения. Первый режим реализуется при небольшой степени загрузки камеры высокого давления, при которой левая граница смеси газа и частиц пересекает выходное сечение до прихода отраженной от дна канала волны разрежения. При этом достигается максимальное значение массового расхода смеси. Другие режимы формируются в случаях большего начального заполнения канала, когда отраженные от дна канала волны разрежения взаимодействуют со слоем газовзвеси и уменьшают интенсивность ее истечения.

Изучено влияние релаксационных свойств при изменении размеров частиц на динамику ограниченного слоя газодисперсной среды. Сопоставление истечения ограниченного слоя газовзвеси с различными размерами частиц показывает, что для мелких частиц (число Стокса меньше 0,001) наблюдается аномальное явление одновременного существования ударно-волновых структур в сверх- и дозвуковом потоке газа и взвеси. С увеличением размеров дисперсных включений скачки уплотнения в области двухфазной смеси сглаживаются, а для частиц (число Стокса больше 0,1) — практически исчезают. При этом ударно-волновая конфигурация сверхзвукового газового потока на выходе из канала сохраняется, а положения и границы энергонесущих объемов газовзвеси при изменении размеров частиц близки.

The paper is devoted to the study of wave and relaxation effects during the pulsed outflow of a gas mixture with a high content of solid particles from a cylindrical channel during its initial partial filling. The problem is formulated in a two-speed two-temperature formulation and was solved numerically by the hybrid large-particle method of the second order of approximation. The numerical algorithm is implemented in the form of parallel computing using basic Free Pascal language tools. The applicability and accuracy of the method for wave flows of concentrated gas-particles mixtures is confirmed by comparison with test asymptotically accurate solutions. The calculation error on a grid of low detail in the characteristic flow zones of a two-phase medium was 10^-6 . . . 10^-5.

Based on the wave diagram, the analysis of the physical pattern of the outflow of a gas suspension partially filling a cylindrical channel is performed. It is established that, depending on the degree of initial filling of the channel, various outflow modes are formed. The first mode is implemented with a small degree of loading of the high-pressure chamber, at which the left boundary of the gas-particles mixture crosses the outlet section before the arrival of the rarefaction wave reflected from the bottom of the channel. At the same time, the maximum value of the mass flow rate of the mixture is achieved. Other modes are formed in cases of a larger initial filling of the channel, when the rarefaction waves reflected from the bottom of the channel interact with the gas suspension layer and reduce the intensity of its outflow.

The influence of relaxation properties with changing particle size on the dynamics of a limited layer of a gas-dispersed medium is studied. Comparison of the outflow of a limited gas suspension layer with different particle sizes shows that for small particles (the Stokes number is less than 0.001), an anomalous phenomenon of the simultaneous existence of shock wave structures in the supersonic and subsonic flow of gas and suspension is observed. With an increase in the size of dispersed inclusions, the compaction jumps in the region of the two-phase mixture are smoothed out, and for particles (the Stokes number is greater than 0.1), they practically disappear. At the same time, the shock-wave configuration of the supersonic gas flow at the outlet of the channel is preserved, and the positions and boundaries of the energy-carrying volumes of the gas suspension are close when the particle sizes change.

Исследуется устойчивость пространственно-периодических диссипативных структур изотермической электроконвекции в плоском слое вязкой несжимаемой слабопроводящей жидкости с униполярной инжекционной проводимостью.

Isothermal electroconvection in a dielectric liquid arising in a plane-parallel electrode system due to unipolar injection of charges from the cathode is considered. Spatially periodic rolls structures stability is investigated.

Разработана компьютерная технология предъявления инженерно-психологических тестов, позволяющая выявлять испытуемых, способных ускорять решение логических задач путем выполнения одновременного нескольких стандартных логических операций. В основу положена ранее опубликованная теоретическая разработка тестовых задач двух типов: на одних параллельная логика эффективна, а на других — нет. Поставленный эксперимент подтвердил способность к параллельной логике значительного процента испытуемых. Существенное ускорение выполнения логических операций в последовательной логике встречается очень редко. Подтверждена эффективность разработанной методики.

We schedule the computer technology for present the engineer psychology tests which reveal probationer men which may hasten the logic task solution by simultaneous execution several standard logic operations. These tests based on the theory of two logic task kinds: in first kind the parallel logic is effectively, and in second kind it is not effectively. The realize experiment confirms the capability parallel logic for impotent part of people. The vital speedup execution of logic operations is very uncommon in simultaneous logic. The efficacy of methodic is confirmed.

WS-BPEL — это широко распространённый стандарт для спецификации распределенных и параллельных бизнес-процессов. Этот стандарт не подходит для алгебраических парадигм и парадигм направленных графов Петри. Исходя из этого, легко определить бизнес-процесс WS-BPEL с нежелательными особенностями. Именно поэтому проверка бизнес-процессов WS-BPEL очень важна. Цель этой статьи состоит в том, чтобы показать некоторые возможности для преобразования процессов WS-BPEL в более формальные спецификации, которые могут быть проверены. CSP и система обозначений Z используются как формальные модели. Система обозначений Z полезна для спецификации абстрактных типов данных. Web-сервисы могут рассматриваться как своего рода абстрактные типы данных.

WS-BPEL is a widely accepted standard for specification of business distributed and parallel processes. This standard is a mismatch of algebraic and Petri net paradigms. Following that, it is easy to specify WS-BPEL business process with unwanted features. That is why the verification of WS-BPEL business processes is very important. The intent of this paper is to show some possibilities for conversion of a WS-BPEL processes into more formal specifications that can be verified. CSP and Z-notation are used as formal models. Z-notation is useful for specification of abstract data types. Web services can be viewed as a kind of abstract data types.

В Лаборатории информационных технологий (ЛИТ) Объединенного института ядерных исследований (ОИЯИ) планируется создание облачного центра параллельных вычислений, что позволит существенно повысить эффективность выполнения численных расчетов и ускорить получение новых физически значимых результатов за счет более рационального использования вычислительных ресурсов. Для оптимизации схемы параллельных вычислений в облачной среде эту схему необходимо протестировать при различных сочетаниях параметров оборудования (количества и частоты процессоров, уровней распараллеливания, пропускной способности коммуникационной сети и ее латентности). В качестве тестовой была выбрана весьма актуальная задача параллельных вычислений длинных джозефсоновских переходов (ДДП) с использованием технологии MPI. Проблемы оценки влияния вышеуказанных факторов вычислительной среды на скорость параллельных вычислений тестовой задачи было предложено решать методом имитационного моделирования, с использованием разработанной в ЛИТ моделирующей программы SyMSim.

Работы, выполненные по имитационному моделированию расчетов ДДП в облачной среде с учетом межпроцессорных соединений, позволяют пользователям без проведения серии тестовых запусков в реальной компьютерной обстановке подобрать оптимальное количество процессоров при известном типе сети, характеризуемой пропускной способностью и латентностью. Это может существенно сэкономить вычислительное время на счетных ресурсах, высвободив его для решения реальных задач. Основные параметры модели были получены по результатам вычислительного эксперимента, проведенного на специальном облачном полигоне для MPI-задач из 10 виртуальных машин, взаимодействующих между собой через Ethernet-сеть с пропускной способностью 10 Гбит/с. Вычислительные эксперименты показали, что чистое время вычислений спадает обратно пропорционально числу процессоров, но существенно зависит от пропускной способности сети. Сравнение результатов, полученных эмпирическим путем, с результатами имитационного моделирования показало, что имитационная модель корректно моделирует параллельные расчеты, выполненные с использованием технологии MPI, и подтвердило нашу рекомендацию, что для быстрого счета задач такого класса надо одновременно с увеличением числа процессоров увеличивать пропускную способность сети. По результатам моделирования удалось вывести эмпирическую аналитическую формулу, выражающую зависимость времени расчета от числа процессоров при фиксированной конфигурации системы. Полученная формула может применяться и для других подобных исследований, но требует дополнительных тестов по определению значений переменных.

А new cloud center of parallel computing is to be created in the Laboratory of Information Technologies (LIT) of the Joint Institute for Nuclear Research JINR) what is expected to improve significantly the efficiency of numerical calculations and expedite the receipt of new physically meaningful results due to the more rational use of computing resources. To optimize a scheme of parallel computations at a cloud environment it is necessary to test this scheme for various combinations of equipment parameters (processor speed and numbers, throughput оf а communication network etc). As a test problem, the parallel MPI algorithm for calculations of the long Josephson junctions (LDJ) is chosen. Problems of evaluating the impact of abovementioned factors of computing mean on the computing speed of the test problem are solved by simulation with the simulation program SyMSim developed in LIT.

The simulation of the LDJ calculations in the cloud environment enable users without a series of test to find the optimal number of CPUs with a certain type of network run the calculations in a real computer environment. This can save significant computational time in countable resources. The main parameters of the model were obtained from the results of the computational experiment conducted on a special cloud-based testbed. Computational experiments showed that the pure computation time decreases in inverse proportion to the number of processors, but depends significantly on network bandwidth. Comparison of results obtained empirically with the results of simulation showed that the simulation model correctly simulates the parallel calculations performed using the MPI-technology. Besides it confirms our recommendation: for fast calculations of this type it is needed to increase both, — the number of CPUs and the network throughput at the same time. The simulation results allow also to invent an empirical analytical formula expressing the dependence of calculation time by the number of processors for a fixed system configuration. The obtained formula can be applied to other similar studies, but requires additional tests to determine the values of variables.

Мы описываем инженерно-психологический эксперимент, продолжающий исследование способов адаптации человека к росту сложности логических задач методом предъявления серий задач нарастающей сложности, которая определяется объемом исходных данных. Задачи требуют вычислений в ассоциативной или неассоциативной системе операций. По характеру изменения времени решения задачи в зависимости от числа необходимых операций можно делать вывод о чисто последовательном способе решения задач или о подключении к решению дополнительных ресурсов мозга в параллельном режиме. В ранее опубликованной экспериментальной работе человек в процессе решения ассоциативной задачи распознавал цветные картинки с содержательными изображениями. В новом исследовании аналогичная задача решается для абстрактных монохромных геометрических фигур. Анализ результата показал, что для второго случая значительно снижается вероятность перехода испытуемого на параллельный способ обработки зрительной информации. Метод исследования основан на предъявлении человеку задач двух типов. Один тип задач содержит ассоциативные вычисления и допускает параллельный алгоритм решения. Другой тип задач контрольный, содержит задачи, в которых вычисления неассоциативные и параллельные алгоритмы решения неэффективны. Задача распознавания и поиска заданного объекта ассоциативна. Параллельная стратегия значительно ускоряет решение при сравнительно малых дополнительных затратах ресурсов. В качестве контрольной серии задач (для отделения параллельной работы от ускорения последовательного алгоритма) используется, как и в предыдущем эксперименте, неассоциативная задача сравнения в циклической арифметике, представленной в наглядной форме игры «камень, ножницы, бумага». В этой задаче параллельный алгоритм требует работы большого числа процессоров с малым коэффициентом эффективности. Поэтому переход человека на параллельный алгоритм решения этой задачи практически исключен и ускорение обработки входной информации возможно только путем повышения быстродействия. Сравнение зависимости времени решения от объема исходных данных для двух типов задач позволяет выявить четыре типа стратегий адаптации к росту сложности задачи: равномерная последовательная, ускоренная последовательная, параллельные вычисления (там, где это возможно) или неопределенная (для данного метода) стратегия. Уменьшение части испытуемых, которые переходят на параллельную стратегию при кодировании входной информации формальными изображениями, показывает эффективность кодов, вызывающих предметные ассоциации. Они повышают скорость восприятия и переработки информации человеком. Статья содержит предварительную математическую модель, которая объясняет это явление. Она основана на появлении второго набора исходных данных, который возникает у человека в результате узнавания изображенных предметов.

We describe an engineering-psychological experiment that continues the study of ways to adapt a person to the increasing complexity of logical problems by presenting a series of problems of increasing complexity, which is determined by the volume of initial data. Tasks require calculations in an associative or non-associative system of operations. By the nature of the change in the time of solving the problem, depending on the number of necessary operations, we can conclude that a purely sequential method of solving problems or connecting additional brain resources to the solution in parallel mode. In a previously published experimental work, a person in the process of solving an associative problem recognized color images with meaningful images. In the new study, a similar problem is solved for abstract monochrome geometric shapes. Analysis of the result showed that for the second case, the probability of the subject switching to a parallel method of processing visual information is significantly reduced. The research method is based on presenting a person with two types of tasks. One type of problem contains associative calculations and allows a parallel solution algorithm. Another type of problem is the control one, which contains problems in which calculations are not associative and parallel algorithms are ineffective. The task of recognizing and searching for a given object is associative. A parallel strategy significantly speeds up the solution with relatively small additional resources. As a control series of problems (to separate parallel work from the acceleration of a sequential algorithm), we use, as in the previous experiment, a non-associative comparison problem in cyclic arithmetic, presented in the visual form of the game “rock, paper, scissors”. In this problem, the parallel algorithm requires a large number of processors with a small efficiency coefficient. Therefore, the transition of a person to a parallel algorithm for solving this problem is almost impossible, and the acceleration of processing input information is possible only by increasing the speed. Comparing the dependence of the solution time on the volume of source data for two types of problems allows us to identify four types of strategies for adapting to the increasing complexity of the problem: uniform sequential, accelerated sequential, parallel computing (where possible), or undefined (for this method) strategy. The Reducing of the number of subjects, who switch to a parallel strategy when encoding input information with formal images, shows the effectiveness of codes that cause subject associations. They increase the speed of human perception and processing of information. The article contains a preliminary mathematical model that explains this phenomenon. It is based on the appearance of a second set of initial data, which occurs in a person as a result of recognizing the depicted objects.

В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

Работа посвящена исследованию влияния нелинейных процессов в пограничном слое на общий характер течений газа в микроканалах технических систем. Подобное исследование актуально для задач нанотехнологий. Одной из важных задач в этой сфере является анализ потоков газа в микроканалах в случае переходных и сверхзвуковых течений. Результаты этого анализа важны для техники газодинамического напыления и для синтеза новых наноматериалов. Из-за сложности реализации полномасштабных экспериментов на микро- и наномасштабах они чаще всего заменяются компьютерным моделированием. Эффективность компьютерного моделирования достигается как за счет использования новых многомасштабных моделей, так и за счет сочетания сеточных методов и методов частиц. В данной работе мы используем метод молекулярной динамики. Он был применен для исследования установления газового микротечения в металлическом канале. В качестве газовой среды был выбран азот. Металлические стенки микроканалов состояли из атомов никеля. В численных экспериментах были рассчитаны коэффициенты аккомодации на границе между течением газа и металлической стенкой. Исследование микросистемы в пограничном слое позволило сформировать многокомпонентную макроскопическую модель граничных условий. Эта модель была интегрирована в макроскопическое описание течения на основе системы квазигазодинамических уравнений. На основе такой преобразованной газодинамической модели были проведены расчеты микротечения в реальной микросистеме. Результаты были сопоставлены с классическим расчетом течения, не учитывающим нелинейные процессы в пограничном слое. Сравнение показало необходимость использования разработанной модели граничных условий и ее интеграции с классическим газодинамическим подходом.

The work is devoted to the study of the influence of nonlinear processes in the boundary layer on the general nature of gas flows in microchannels of technical systems. Such a study is actually concerned with nanotechnology problems. One of the important problems in this area is the analysis of gas flows in microchannels in the case of transient and supersonic flows. The results of this analysis are important for the gas-dynamic spraying techique and for the synthesis of new nanomaterials. Due to the complexity of the implementation of full-scale experiments on micro- and nanoscale, they are most often replaced by computer simulations. The efficiency of computer simulations is achieved by both the use of new multiscale models and the combination of mesh and particle methods. In this work, we use the molecular dynamics method. It is applied to study the establishment of a gas microflow in a metal channel. Nitrogen was chosen as the gaseous medium. The metal walls of the microchannels consisted of nickel atoms. In numerical experiments, the accommodation coefficients were calculated at the boundary between the gas flow and the metal wall. The study of the microsystem in the boundary layer made it possible to form a multicomponent macroscopic model of the boundary conditions. This model was integrated into the macroscopic description of the flow based on a system of quasi-gas-dynamic equations. On the basis of such a transformed gas-dynamic model, calculations of microflow in real microsystem were carried out. The results were compared with the classical calculation of the flow, which does not take into account nonlinear processes in the boundary layer. The comparison showed the need to use the developed model of boundary conditions and its integration with the classical gas-dynamic approach.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.