Все выпуски

Работа посвящена теоретическому изучению величины деструктивного влияния на нормальные ткани организма инфракрасным излучением, выходящим за пределы обрабатываемого патологического очага. Такая ситуация возможна при сверхдлительном воздействии прямого лазерного излучения на биоткани. Решением этой проблемы может служить равномерное распределение тепла внутри объема через опосредованное нагревание жидкости, что способствует минимальному повреждению перифокальных структур. Представлена нестационарная теплофизическая модель процесса распространения тепла в биотканях, позволяющая проводить исследования передачи энергии от внутреннего жидкого содержимого кисты Бейкера, нагреваемого инфракрасным лазерным излучением заданной удельной мощности, через определенную толщину ее стенки к окружающим биологическим тканям. Расчет пространственно-временного распределения температуры в стенке кисты и окружающей жировой ткани осуществляется конечно-разностным методом. Время эффективного воздействия температуры на всю толщину стенки кисты оценивалось достижением 55 °С на ее наружной поверхности. Безопасность процедуры обеспечивает длительность экспозиции данной величины не более 10 секунд.

В результате проведенных вычислений установлено, что имеются несколько режимов работы хирургического лазера, соответствующих всем требованиям безопасности при одновременной эффективности процедуры. Локальная односторонняя гипертермия синовиальной оболочки и последующая коагуляция всей толщины стенки за счет переноса тепла способствуют ликвидации полостного новообразования подколенной области. При ее толщине 3 мм удовлетворительным является режим нагрева, при котором время воздействия длится около 200 секунд, а удельная мощность лазерного излучения во внутренней среде жидкостного содержимого кисты Бейкера составляет примерно 1 Вт/г.

The work is devoted to the study of the theoretical value of destructive influence on normal tissues of an organism by infrared radiation that goes beyond the treated pathological focus. This situation is possible if the direct laser radiation on the tissues is extremely long-acting. The solution to this problem can be the uniform distribution of heat inside the volume through indirect heating of the liquid, which contributes to minimal damage to the perifocal structures. A non-stationary thermophysical model of the process of heat propagation in biological tissues is presented, allowing to carry out studies of energy transfer from internal liquid contents of Baker's cyst heated by infrared laser radiation of a given specific power through a certain thickness of its wall to surrounding biological tissues. Calculation of the spacetime temperature distribution in the cyst wall and surrounding fat tissue is carried out by the finite-difference method. The time of effective exposure to temperature on the entire thickness of the cyst wall was estimated to be 55 ° C on its outer surface. The safety procedure ensures the exposure duration of this value is not more than 10 seconds.

As a result of the calculations carried out, it is established that there are several operating modes of a surgical laser that meet all the safety requirements with a simultaneous effective procedure. Local one-sided hyperthermia of the synovial membrane and subsequent coagulation of the entire wall thickness due to heat transfer contributes to the elimination of the cavity neoplasm of the popliteal region. With a thickness of 3 mm, the heating mode is satisfactory, under which the exposure time lasts about 200 seconds, and the specific power of the laser radiation in the internal medium of the liquid contents of the Baker cyst is approximately 1.

В основу обзора положены некоторые ранние работы авторов, представляющие определенный научный, методический и практический интерес; наибольшее внимание уделено работам последних лет, где выполнены достаточно подробные численные исследования не только одиночных, но также двойных и множественных взрывов в широком диапазоне высот и условий в окружающей среде. Так как в нижней атмосфере ударная волна мощного взрыва является одним из главных поражающих факторов, то в обзоре большое внимание уделено физическому анализу их распространения и взаимодействия. С помощью разработанных авторами трехмерных алгоритмов рассмотрены интересные с физической точки зрения эффекты интерференции и дифракции нескольких ударных волн в отсутствие и при наличии подстилающей поверхности различной структуры. Определены количественные характеристики в области их максимальных значений, что представляет известный практический интерес. Для взрывов в плотной атмосфере найдены некоторые новые аналитические решения на основе метода малых возмущений, удобные для приближенных расчетов. Для ряда условий показана возможность использования автомодельных свойств уравнений первого и второго рода для решения задач о развитии взрыва.

На основе численного анализа показано принципиальное изменение в структуре развития возмущенной области при изменении высоты взрыва в диапазоне 100–120 км. На высотах более 120 км геомагнитное поле начинает влиять на развитие взрыва, поэтому даже для одиночного взрыва картина плазменного течения через несколько секунд становится существенно трехмерной. Для расчета взрывов на высотах 120–1000 км под руководством академика Холодова А. С. был разработан специальный трехмерный численный алгоритм на основе МГД-приближения. Были выполнены многочисленные расчеты и впервые получена достаточно подробная картина трехмерного течения плазмы взрыва с образованием через 5–10 с восходящей струи, направленной в меридиональной плоскости примерно по геомагнитному полю. После некоторой модификации данный алгоритм использовался для расчета двойных взрывов в ионосфере, разнесенных на некоторое расстояние. Взаимодействие между ними осуществлялось как плазменными потоками, так и через геомагнитное поле. Некоторые результаты приведены в данном обзоре и подробно изложены в оригинальных статьях.

The review is based on some of the authors ’early works of particular scientific, methodological and practical interest and the greatest attention is paid to recent works, where quite detailed numerical studies of not only single, but also double and multiple explosions in a wide range of heights and environmental conditions have been performed . Since the shock wave of a powerful explosion is one of the main damaging factors in the lower atmosphere, the review focuses on both the physical analysis of their propagation and their interaction. Using the three-dimensional algorithms developed by the authors, the effects of interference and diffraction of several shock waves, which are interesting from a physical point of view, in the absence and presence of an underlying surface of various structures are considered. Quantitative characteristics are determined in the region of their maximum values, which is of known practical interest. For explosions in a dense atmosphere, some new analytical solutions based on the small perturbation method have been found that are convenient for approximate calculations. For a number of conditions, the possibility of using the self-similar properties of equations of the first and second kind to solve problems on the development of an explosion has been shown.

Based on numerical analysis, a fundamental change in the structure of the development of the perturbed region with a change in the height of the explosion in the range of 100–120 km is shown. At altitudes of more than 120 km, the geomagnetic field begins to influence the development of the explosion; therefore, even for a single explosion, the picture of the plasma flow after a few seconds becomes substantially three-dimensional. For the calculation of explosions at altitudes of 120–1000 km under the guidance of academician A. Kholodov. A special three-dimensional numerical algorithm based on the MHD approximation was developed. Numerous calculations were performed and for the first time a quite detailed picture of the three-dimensional flow of the explosion plasma was obtained with the formation of an upward jet in 5–10 s directed in the meridional plane approximately along the geomagnetic field. After some modification, this algorithm was used to calculate double explosions in the ionosphere, spaced a certain distance. The interaction between them was carried out both by plasma flows and through a geomagnetic field. Some results are given in this review and are described in detail in the original articles.

В работе представлена математическая модель, описывающая процесс получения биогаза из отходов животноводства. Данная модель описывает процессы, протекающие в биогазовой установке для мезофильной и термофильной сред, а также для непрерывного и периодического режимов поступления субстрата. Приведены найденные ранее для периодического режима значения коэффициентов этой модели, полученные путем решения задачи идентификации модели по экспериментальным данным с использованием генетического алгоритма.

Для модели метаногенеза сформулирована задача оптимального управления в форме задачи Лагранжа, критериальный функционал которой представляет собой выход биогаза за определенный промежуток времени. Управляющим параметром задачи служит скорость поступления субстрата в биогазовую установку. Предложен алгоритм решения данной задачи, основанный на численной реализации принципа максимума Понтрягина. При этом в качестве метода оптимизации применялся гибридный генетический алгоритм с дополнительным поиском в окрестности лучшего решения методом сопряженных градиентов. Данный численный метод решения задачи оптимального управления является универсальным и применим к широкому классу математических моделей.

В ходе исследования проанализированы различные режимы подачи субстрата в метантенк, температурные среды и виды сырья. Показано, что скорость образования биогаза при непрерывном режиме подачи сырья в 1.4–1.9 раза выше в мезофильной среде (в 1.9–3.2 — в термофильной среде), чем при периодическом режиме за период полной ферментации, что связано с большей скоростью подачи субстрата и большей концентрацией питательных веществ в субстрате. Однако выход биогаза за период полной ферментации при периодическом режиме вдвое выше выхода за период полной смены субстрата в метантенке при непрерывном режиме, что означает неполную переработку субстрата во втором случае. Скорость образования биогаза для термофильной среды при непрерывном режиме и оптимальной скорости подачи сырья втрое выше, чем для мезофильной среды. Сравнение выхода биогаза для различных типов сырья показывает, что наибольший выход биогаза наблюдается для отходов птицефабрик, наименьший — для отходов ферм КРС, что связано с содержанием питательных веществ в единице субстрата каждого вида.

The paper presents a mathematical model that describes the process of obtaining biogas from livestock waste. This model describes the processes occurring in a biogas plant for mesophilic and thermophilic media, as well as for continuous and periodic modes of substrate inflow. The values of the coefficients of this model found earlier for the periodic mode, obtained by solving the problem of model identification from experimental data using a genetic algorithm, are given.

For the model of methanogenesis, an optimal control problem is formulated in the form of a Lagrange problem, whose criterial functionality is the output of biogas over a certain period of time. The controlling parameter of the task is the rate of substrate entry into the biogas plant. An algorithm for solving this problem is proposed, based on the numerical implementation of the Pontryagin maximum principle. In this case, a hybrid genetic algorithm with an additional search in the vicinity of the best solution using the method of conjugate gradients was used as an optimization method. This numerical method for solving an optimal control problem is universal and applicable to a wide class of mathematical models.

In the course of the study, various modes of submission of the substrate to the digesters, temperature environments and types of raw materials were analyzed. It is shown that the rate of biogas production in the continuous feed mode is 1.4–1.9 times higher in the mesophilic medium (1.9–3.2 in the thermophilic medium) than in the periodic mode over the period of complete fermentation, which is associated with a higher feed rate of the substrate and a greater concentration of nutrients in the substrate. However, the yield of biogas during the period of complete fermentation with a periodic mode is twice as high as the output over the period of a complete change of the substrate in the methane tank at a continuous mode, which means incomplete processing of the substrate in the second case. The rate of biogas formation for a thermophilic medium in continuous mode and the optimal rate of supply of raw materials is three times higher than for a mesophilic medium. Comparison of biogas output for various types of raw materials shows that the highest biogas output is observed for waste poultry farms, the least — for cattle farms waste, which is associated with the nutrient content in a unit of substrate of each type.

В статье изложены основные положения методики расчета отделения полезной нагрузки (объектов различного назначения с собственным движительным комплексом) от подводного носителя методом самовыхода с использованием современных методов численной гидродинамики (CFD-технологий). Приводится описание метода отделения самовыходом, его достоинства и недостатки. Приводятся результаты исследования сходимости по сетке конечно-объемной модели по критерию «точность–время», а также результаты сопоставления расчета с экспериментом (валидации модели). Валидация модели проводилась по имеющимся данным экспериментального определения тяговых характеристик водометного движительного комплекса натурного образца в опытовом бассейне. Расчеты тяговых характеристик водометного движительного комплекса проводились с применением программного комплекса FlowVision версии 3.10. На основании сопоставления результатов расчетов для условий проведения экспериментов была определена погрешность расчетной модели водометного движительного комплекса, которая составила не более 5 % в диапазоне поступей работы водометного движительного комплекса, реализуемых в процессе отделения методом самовыхода. Полученное значение погрешности расчета тяговых характеристик используется для определения предельных расчетных значений скорости отделения объекта от носителя (минимальные и максимальные значения). Рассмотренная задача является значимой с научной точки зрения благодаря особенностям подхода к моделированию водометного движительного комплекса совместно с движением отделяемого объекта, а также с практической точки зрения благодаря возможности получения с высокой степенью достоверности параметров отделения объектов от подводных аппаратов методом самовыхода, условия работы которых предполагают движение в замкнутых объемах, уже на стадии проектирования.

The article describes the basic approaches of the calculation procedure of payload swim-out (objects of different function with own propulsor) from the underwater carrier a method of a self-exit using modern CFD technologies. It contains the description of swim-out by a self-exit method, its advantages and disadvantages. Also it contains results of research of convergence on a grid of a final-volume model with accuracy-time criterion, and results of comparison of calculation with experiment (validation of models). Validation of models was carried out using the available data of experimental definition of traction characteristics of water-jet propulsor of the natural sample in the development pool. Calculations of traction characteristics of water-jet propulsor were carried out via software package FlowVision ver. 3.10. On the basis of comparison of results of calculations for conditions of carrying out of experiments the error of water-jet propulsor calculated model which has made no more than 5% in a range of advance coefficient water-jet propulsor, realised in the process of swim-out by a selfexit method has been defined. The received value of an error of calculation of traction characteristics is used for definition of limiting settlement values of speed of branch of object from the carrier (the minimum and maximum values). The considered problem is significant from the scientific point of view thanks to features of the approach to modelling hydrojet moving system together with movement of separated object, and also from the practical point of view, thanks to possibility of reception with high degree of reliability of parametres swim-out of objects from sea bed vehicles a method of the self-exit which working conditions are assumed by movement in the closed volumes, already on a design stage.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

Мы описываем инженерно-психологический эксперимент, продолжающий исследование способов адаптации человека к росту сложности логических задач методом предъявления серий задач нарастающей сложности, которая определяется объемом исходных данных. Задачи требуют вычислений в ассоциативной или неассоциативной системе операций. По характеру изменения времени решения задачи в зависимости от числа необходимых операций можно делать вывод о чисто последовательном способе решения задач или о подключении к решению дополнительных ресурсов мозга в параллельном режиме. В ранее опубликованной экспериментальной работе человек в процессе решения ассоциативной задачи распознавал цветные картинки с содержательными изображениями. В новом исследовании аналогичная задача решается для абстрактных монохромных геометрических фигур. Анализ результата показал, что для второго случая значительно снижается вероятность перехода испытуемого на параллельный способ обработки зрительной информации. Метод исследования основан на предъявлении человеку задач двух типов. Один тип задач содержит ассоциативные вычисления и допускает параллельный алгоритм решения. Другой тип задач контрольный, содержит задачи, в которых вычисления неассоциативные и параллельные алгоритмы решения неэффективны. Задача распознавания и поиска заданного объекта ассоциативна. Параллельная стратегия значительно ускоряет решение при сравнительно малых дополнительных затратах ресурсов. В качестве контрольной серии задач (для отделения параллельной работы от ускорения последовательного алгоритма) используется, как и в предыдущем эксперименте, неассоциативная задача сравнения в циклической арифметике, представленной в наглядной форме игры «камень, ножницы, бумага». В этой задаче параллельный алгоритм требует работы большого числа процессоров с малым коэффициентом эффективности. Поэтому переход человека на параллельный алгоритм решения этой задачи практически исключен и ускорение обработки входной информации возможно только путем повышения быстродействия. Сравнение зависимости времени решения от объема исходных данных для двух типов задач позволяет выявить четыре типа стратегий адаптации к росту сложности задачи: равномерная последовательная, ускоренная последовательная, параллельные вычисления (там, где это возможно) или неопределенная (для данного метода) стратегия. Уменьшение части испытуемых, которые переходят на параллельную стратегию при кодировании входной информации формальными изображениями, показывает эффективность кодов, вызывающих предметные ассоциации. Они повышают скорость восприятия и переработки информации человеком. Статья содержит предварительную математическую модель, которая объясняет это явление. Она основана на появлении второго набора исходных данных, который возникает у человека в результате узнавания изображенных предметов.

We describe an engineering-psychological experiment that continues the study of ways to adapt a person to the increasing complexity of logical problems by presenting a series of problems of increasing complexity, which is determined by the volume of initial data. Tasks require calculations in an associative or non-associative system of operations. By the nature of the change in the time of solving the problem, depending on the number of necessary operations, we can conclude that a purely sequential method of solving problems or connecting additional brain resources to the solution in parallel mode. In a previously published experimental work, a person in the process of solving an associative problem recognized color images with meaningful images. In the new study, a similar problem is solved for abstract monochrome geometric shapes. Analysis of the result showed that for the second case, the probability of the subject switching to a parallel method of processing visual information is significantly reduced. The research method is based on presenting a person with two types of tasks. One type of problem contains associative calculations and allows a parallel solution algorithm. Another type of problem is the control one, which contains problems in which calculations are not associative and parallel algorithms are ineffective. The task of recognizing and searching for a given object is associative. A parallel strategy significantly speeds up the solution with relatively small additional resources. As a control series of problems (to separate parallel work from the acceleration of a sequential algorithm), we use, as in the previous experiment, a non-associative comparison problem in cyclic arithmetic, presented in the visual form of the game “rock, paper, scissors”. In this problem, the parallel algorithm requires a large number of processors with a small efficiency coefficient. Therefore, the transition of a person to a parallel algorithm for solving this problem is almost impossible, and the acceleration of processing input information is possible only by increasing the speed. Comparing the dependence of the solution time on the volume of source data for two types of problems allows us to identify four types of strategies for adapting to the increasing complexity of the problem: uniform sequential, accelerated sequential, parallel computing (where possible), or undefined (for this method) strategy. The Reducing of the number of subjects, who switch to a parallel strategy when encoding input information with formal images, shows the effectiveness of codes that cause subject associations. They increase the speed of human perception and processing of information. The article contains a preliminary mathematical model that explains this phenomenon. It is based on the appearance of a second set of initial data, which occurs in a person as a result of recognizing the depicted objects.

В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

Во второй части работы представлены численные исследования параметров нижней ионосферы на высотах 40–90 км при воздействии на нее мощного потока коротковолнового радиоизлучения различной частоты и мощности. Постановка задачи изложена в первой части работы. Основное внимание уделяется взаимосвязи энергетических и кинетических параметров возмущенной $D$-области ионосферы в процессах, определяющих поглощение и трансформацию потока энергии радиолуча в пространстве и во времени. Показана возможность существенного различия в поведении параметров возмущенной области в дневное и ночное время как по величине, так и по пространственно-временному распределению. Ввиду отсутствия надежных значений констант скоростей ряда важных кинетических процессов численные исследования велись поэтапно, с постепенным добавлением отдельных процессов и кинетических блоков, соответствующих вместе с тем определенному физическому содержанию. Показано, что главную роль при этом играют энергетические пороги для неупругих столкновений электронов с молекулами воздуха. Данный подход позволил обнаружить эффект возникновения автоколебательного режима изменения параметров, если главным каналом для потерь энергии в неупругих процессах является наиболее энергоемкий процесс — ионизация. Этот эффект может играть роль при плазменных исследованиях с использованием высокочастотных индукционных и емкостных разрядов. Представлены результаты расчетов ионизационных и оптических параметров возмущенной $D$-области для дневных условий. Получены значения электронной температуры, концентрации, коэффициентов излучения в видимом и инфракрасном диапазонах спектра для различных значений мощности радиолуча и его частоты в нижней ионосфере. Получено высотно-временное распределение поглощенной мощности излучения, что необходимо при исследованиях более высоких слоев ионосферы. Подробно исследовано влияние на электронную температуру и на общее поведение параметров энергии, которая расходуется электронами на возбуждение колебательных и метастабильных состояний молекул. Показано, что в ночных условиях, когда нижняя граница электронной концентрации поднимается до 80 км, а концентрация тяжелых частиц снижается на два порядка по сравнению со средней областью $D$-слоя, при достаточной мощности радиоизлучения может развиваться крупномасштабное газодинамическое движение. На основе численной схемы Мак-Кормака разработан алгоритм и выполненыдв умерные газодинамические расчетып оведения параметров возмущенной области при определенных упрощениях кинетической части задачи.

The second part presents numerical studies of the parameters of the lower ionosphere at altitudes of 40–90 km when heated by powerful high-frequency radio waves of various frequencies and powers. The problem statement is considered in the first part of the article. The main attention is paid to the interrelation between the energy and kinetic parameters of the disturbed $D$-region of the ionosphere in the processes that determine the absorption and transformation of the radio beam energy flux in space and time. The possibility of a significant difference in the behavior of the parameters of the disturbed region in the daytime and at nighttime, both in magnitude and in space-time distribution, is shown. In the absence of sufficiently reliable values of the rate constants for a number of important kinetic processes, numerical studies were carried out in stages with the gradual addition of individual processes and kinetic blocks corresponding at the same time to a certain physical content. It is shown that the energy thresholds for inelastic collisions of electrons with air molecules are the main ones. This approach made it possible to detect the effect of the emergence of a self-oscillating mode of changing parameters if the main channel for energy losses in inelastic processes is the most energy-intensive process — ionization. This effect may play a role in plasma studies using high-frequency inductive and capacitive discharges. The results of calculations of the ionization and optical parameters of the disturbed $D$-region for daytime conditions are presented. The electron temperature, density, emission coefficients in the visible and infrared ranges of the spectrum are obtained for various values of the power of the radio beam and its frequency in the lower ionosphere. The height-time distribution of the absorbed radiation power is calculated, which is necessary in studies of higher layers of the ionosphere. The influence on the electron temperature and on the general behavior of the parameters of energy losses by electrons on the excitation of vibrational and metastable states of molecules has been studied in detail. It is shown that under nighttime conditions, when the electron concentration begins at altitudes of about 80 km, and the concentration of heavy particles decreases by two orders of magnitude compared to the average $D$-region, large-scale gas-dynamic motion can develop with sufficient radio emission power The algorithm was developed based on the McCormack method and two-dimensional gas-dynamic calculations of the behavior of the parameters of the perturbed region were performed with some simplifications of the kinetics.

Рассматривается иерархическая модель, предложенная Джохансеном и Сорнеттом, описывающая механизм возникновения логопериодических колебаний, предшествующих финансовым крахам, и проводится ее численный анализ. Предлагаются обобщения данной модели на основе введения зависимость степени влияния агентов друг на друга от ультраметрического расстояния между ними. Наибольшее внимание уделяется вопросу об универсальности критической точки, который исследуется с помощью построения распределений точек краха при различном числе агентов.

We consider the hierarchical model of financial crashes introduced by A. Johansen and D. Sornette which reproduces the log-periodic power law behavior of the price before the critical point. In order to build the generalization of this model we introduce the dependence of an influence exponent on an ultrametric distance between agents. Much attention is being paid to a problem of critical point universality which is investigated by comparison of probability density functions of the crash times corresponding to systems with various total numbers of agents.