Текущий выпуск Номер 3, 2024 Том 16

Все выпуски

Результаты поиска по 'solution method':
Найдено статей: 253
  1. Андрущенко В.А., Ступицкий Е.Л.
    Численные исследования структуры возмущенных областей, образованных мощными взрывами на различных высотах. Обзор
    Компьютерные исследования и моделирование, 2020, т. 12, № 1, с. 97-140

    В основу обзора положены некоторые ранние работы авторов, представляющие определенный научный, методический и практический интерес; наибольшее внимание уделено работам последних лет, где выполнены достаточно подробные численные исследования не только одиночных, но также двойных и множественных взрывов в широком диапазоне высот и условий в окружающей среде. Так как в нижней атмосфере ударная волна мощного взрыва является одним из главных поражающих факторов, то в обзоре большое внимание уделено физическому анализу их распространения и взаимодействия. С помощью разработанных авторами трехмерных алгоритмов рассмотрены интересные с физической точки зрения эффекты интерференции и дифракции нескольких ударных волн в отсутствие и при наличии подстилающей поверхности различной структуры. Определены количественные характеристики в области их максимальных значений, что представляет известный практический интерес. Для взрывов в плотной атмосфере найдены некоторые новые аналитические решения на основе метода малых возмущений, удобные для приближенных расчетов. Для ряда условий показана возможность использования автомодельных свойств уравнений первого и второго рода для решения задач о развитии взрыва.

    На основе численного анализа показано принципиальное изменение в структуре развития возмущенной области при изменении высоты взрыва в диапазоне 100–120 км. На высотах более 120 км геомагнитное поле начинает влиять на развитие взрыва, поэтому даже для одиночного взрыва картина плазменного течения через несколько секунд становится существенно трехмерной. Для расчета взрывов на высотах 120–1000 км под руководством академика Холодова А. С. был разработан специальный трехмерный численный алгоритм на основе МГД-приближения. Были выполнены многочисленные расчеты и впервые получена достаточно подробная картина трехмерного течения плазмы взрыва с образованием через 5–10 с восходящей струи, направленной в меридиональной плоскости примерно по геомагнитному полю. После некоторой модификации данный алгоритм использовался для расчета двойных взрывов в ионосфере, разнесенных на некоторое расстояние. Взаимодействие между ними осуществлялось как плазменными потоками, так и через геомагнитное поле. Некоторые результаты приведены в данном обзоре и подробно изложены в оригинальных статьях.

    Andruschenko V.A., Stupitsky E.L.
    Numerical studies of the structure of perturbed regions formed by powerful explosions at various heights. A review
    Computer Research and Modeling, 2020, v. 12, no. 1, pp. 97-140

    The review is based on some of the authors ’early works of particular scientific, methodological and practical interest and the greatest attention is paid to recent works, where quite detailed numerical studies of not only single, but also double and multiple explosions in a wide range of heights and environmental conditions have been performed . Since the shock wave of a powerful explosion is one of the main damaging factors in the lower atmosphere, the review focuses on both the physical analysis of their propagation and their interaction. Using the three-dimensional algorithms developed by the authors, the effects of interference and diffraction of several shock waves, which are interesting from a physical point of view, in the absence and presence of an underlying surface of various structures are considered. Quantitative characteristics are determined in the region of their maximum values, which is of known practical interest. For explosions in a dense atmosphere, some new analytical solutions based on the small perturbation method have been found that are convenient for approximate calculations. For a number of conditions, the possibility of using the self-similar properties of equations of the first and second kind to solve problems on the development of an explosion has been shown.

    Based on numerical analysis, a fundamental change in the structure of the development of the perturbed region with a change in the height of the explosion in the range of 100–120 km is shown. At altitudes of more than 120 km, the geomagnetic field begins to influence the development of the explosion; therefore, even for a single explosion, the picture of the plasma flow after a few seconds becomes substantially three-dimensional. For the calculation of explosions at altitudes of 120–1000 km under the guidance of academician A. Kholodov. A special three-dimensional numerical algorithm based on the MHD approximation was developed. Numerous calculations were performed and for the first time a quite detailed picture of the three-dimensional flow of the explosion plasma was obtained with the formation of an upward jet in 5–10 s directed in the meridional plane approximately along the geomagnetic field. After some modification, this algorithm was used to calculate double explosions in the ionosphere, spaced a certain distance. The interaction between them was carried out both by plasma flows and through a geomagnetic field. Some results are given in this review and are described in detail in the original articles.

  2. Королев С.А., Майков Д.В.
    Решение задачи оптимального управления процессом метаногенеза на основе принципа максимума Понтрягина
    Компьютерные исследования и моделирование, 2020, т. 12, № 2, с. 357-367

    В работе представлена математическая модель, описывающая процесс получения биогаза из отходов животноводства. Данная модель описывает процессы, протекающие в биогазовой установке для мезофильной и термофильной сред, а также для непрерывного и периодического режимов поступления субстрата. Приведены найденные ранее для периодического режима значения коэффициентов этой модели, полученные путем решения задачи идентификации модели по экспериментальным данным с использованием генетического алгоритма.

    Для модели метаногенеза сформулирована задача оптимального управления в форме задачи Лагранжа, критериальный функционал которой представляет собой выход биогаза за определенный промежуток времени. Управляющим параметром задачи служит скорость поступления субстрата в биогазовую установку. Предложен алгоритм решения данной задачи, основанный на численной реализации принципа максимума Понтрягина. При этом в качестве метода оптимизации применялся гибридный генетический алгоритм с дополнительным поиском в окрестности лучшего решения методом сопряженных градиентов. Данный численный метод решения задачи оптимального управления является универсальным и применим к широкому классу математических моделей.

    В ходе исследования проанализированы различные режимы подачи субстрата в метантенк, температурные среды и виды сырья. Показано, что скорость образования биогаза при непрерывном режиме подачи сырья в 1.4–1.9 раза выше в мезофильной среде (в 1.9–3.2 — в термофильной среде), чем при периодическом режиме за период полной ферментации, что связано с большей скоростью подачи субстрата и большей концентрацией питательных веществ в субстрате. Однако выход биогаза за период полной ферментации при периодическом режиме вдвое выше выхода за период полной смены субстрата в метантенке при непрерывном режиме, что означает неполную переработку субстрата во втором случае. Скорость образования биогаза для термофильной среды при непрерывном режиме и оптимальной скорости подачи сырья втрое выше, чем для мезофильной среды. Сравнение выхода биогаза для различных типов сырья показывает, что наибольший выход биогаза наблюдается для отходов птицефабрик, наименьший — для отходов ферм КРС, что связано с содержанием питательных веществ в единице субстрата каждого вида.

    Korolev S.A., Maykov D.V.
    Solution of the problem of optimal control of the process of methanogenesis based on the Pontryagin maximum principle
    Computer Research and Modeling, 2020, v. 12, no. 2, pp. 357-367

    The paper presents a mathematical model that describes the process of obtaining biogas from livestock waste. This model describes the processes occurring in a biogas plant for mesophilic and thermophilic media, as well as for continuous and periodic modes of substrate inflow. The values of the coefficients of this model found earlier for the periodic mode, obtained by solving the problem of model identification from experimental data using a genetic algorithm, are given.

    For the model of methanogenesis, an optimal control problem is formulated in the form of a Lagrange problem, whose criterial functionality is the output of biogas over a certain period of time. The controlling parameter of the task is the rate of substrate entry into the biogas plant. An algorithm for solving this problem is proposed, based on the numerical implementation of the Pontryagin maximum principle. In this case, a hybrid genetic algorithm with an additional search in the vicinity of the best solution using the method of conjugate gradients was used as an optimization method. This numerical method for solving an optimal control problem is universal and applicable to a wide class of mathematical models.

    In the course of the study, various modes of submission of the substrate to the digesters, temperature environments and types of raw materials were analyzed. It is shown that the rate of biogas production in the continuous feed mode is 1.4–1.9 times higher in the mesophilic medium (1.9–3.2 in the thermophilic medium) than in the periodic mode over the period of complete fermentation, which is associated with a higher feed rate of the substrate and a greater concentration of nutrients in the substrate. However, the yield of biogas during the period of complete fermentation with a periodic mode is twice as high as the output over the period of a complete change of the substrate in the methane tank at a continuous mode, which means incomplete processing of the substrate in the second case. The rate of biogas formation for a thermophilic medium in continuous mode and the optimal rate of supply of raw materials is three times higher than for a mesophilic medium. Comparison of biogas output for various types of raw materials shows that the highest biogas output is observed for waste poultry farms, the least — for cattle farms waste, which is associated with the nutrient content in a unit of substrate of each type.

  3. В работе разработан кластерный метод математического моделирования интервально-стохастических тепловых процессов в сложных технических, в частности электронных, системах (ЭС). В кластерном методе конструкция сложной ЭС представляется в виде тепловой модели, являющейся системой кластеров, каждый из которых содержит ядро, объединяющее в себе тепловыделяющие элементы, попадающие в данный кластер, оболочку кластера и поток среды, протекающий через кластер. Состояние теплового процесса в каждом кластере и в каждый момент времени характеризуется тремя интервально-стохастическими переменными состояния, а именно температурами ядра, оболочки и потока среды. При этом элементы каждого кластера, а именно ядро, оболочка и поток среды, находятся в тепловом взаимодействии между собой и элементами соседних кластеров. В отличие от существующих методов кластерный метод позволяет моделировать тепловые процессы в сложных ЭС с учетом неравномерного распределения температуры в потоке среды нагнетаемой в ЭС, сопряженного характера теплообмена между пото- ком среды в ЭС, ядрами и оболочками кластеров и интервально-стохастического характера тепловых процессов в ЭС, вызванного статистическим технологическим разбросом изготовления и монтажа электронных элементов в ЭС, и случайными флуктуациями тепловых параметров окружающей среды. Математическая модель, описывающая состояния тепловых процессов в кластерной тепловой модели, представляет собой систему интервально-стохастических матрично-блочных уравнений с матричными и векторными блоками, соответствующими кластерам тепловой модели. Решением интервально-стохастических уравнений являются статистические меры переменных состояния тепловых процессов в кластерах — математические ожидания, ковариации между переменными состояния и дисперсии. Методика применения кластерного метода показана на примере реальной ЭС.

    Madera A.G.
    Cluster method of mathematical modeling of interval-stochastic thermal processes in electronic systems
    Computer Research and Modeling, 2020, v. 12, no. 5, pp. 1023-1038

    A cluster method of mathematical modeling of interval-stochastic thermal processes in complex electronic systems (ES), is developed. In the cluster method, the construction of a complex ES is represented in the form of a thermal model, which is a system of clusters, each of which contains a core that combines the heat-generating elements falling into a given cluster, the cluster shell and a medium flow through the cluster. The state of the thermal process in each cluster and every moment of time is characterized by three interval-stochastic state variables, namely, the temperatures of the core, shell, and medium flow. The elements of each cluster, namely, the core, shell, and medium flow, are in thermal interaction between themselves and elements of neighboring clusters. In contrast to existing methods, the cluster method allows you to simulate thermal processes in complex ESs, taking into account the uneven distribution of temperature in the medium flow pumped into the ES, the conjugate nature of heat exchange between the medium flow in the ES, core and shells of clusters, and the intervalstochastic nature of thermal processes in the ES, caused by statistical technological variation in the manufacture and installation of electronic elements in ES and random fluctuations in the thermal parameters of the environment. The mathematical model describing the state of thermal processes in a cluster thermal model is a system of interval-stochastic matrix-block equations with matrix and vector blocks corresponding to the clusters of the thermal model. The solution to the interval-stochastic equations are statistical measures of the state variables of thermal processes in clusters - mathematical expectations, covariances between state variables and variance. The methodology for applying the cluster method is shown on the example of a real ES.

  4. Коганов А.В., Ракчеева Т.А., Приходько Д.И.
    Сравнительный анализ адаптации человека к росту объема зрительной информации в задачах распознавания формальных символов и содержательных изображений
    Компьютерные исследования и моделирование, 2021, т. 13, № 3, с. 571-586

    Мы описываем инженерно-психологический эксперимент, продолжающий исследование способов адаптации человека к росту сложности логических задач методом предъявления серий задач нарастающей сложности, которая определяется объемом исходных данных. Задачи требуют вычислений в ассоциативной или неассоциативной системе операций. По характеру изменения времени решения задачи в зависимости от числа необходимых операций можно делать вывод о чисто последовательном способе решения задач или о подключении к решению дополнительных ресурсов мозга в параллельном режиме. В ранее опубликованной экспериментальной работе человек в процессе решения ассоциативной задачи распознавал цветные картинки с содержательными изображениями. В новом исследовании аналогичная задача решается для абстрактных монохромных геометрических фигур. Анализ результата показал, что для второго случая значительно снижается вероятность перехода испытуемого на параллельный способ обработки зрительной информации. Метод исследования основан на предъявлении человеку задач двух типов. Один тип задач содержит ассоциативные вычисления и допускает параллельный алгоритм решения. Другой тип задач контрольный, содержит задачи, в которых вычисления неассоциативные и параллельные алгоритмы решения неэффективны. Задача распознавания и поиска заданного объекта ассоциативна. Параллельная стратегия значительно ускоряет решение при сравнительно малых дополнительных затратах ресурсов. В качестве контрольной серии задач (для отделения параллельной работы от ускорения последовательного алгоритма) используется, как и в предыдущем эксперименте, неассоциативная задача сравнения в циклической арифметике, представленной в наглядной форме игры «камень, ножницы, бумага». В этой задаче параллельный алгоритм требует работы большого числа процессоров с малым коэффициентом эффективности. Поэтому переход человека на параллельный алгоритм решения этой задачи практически исключен и ускорение обработки входной информации возможно только путем повышения быстродействия. Сравнение зависимости времени решения от объема исходных данных для двух типов задач позволяет выявить четыре типа стратегий адаптации к росту сложности задачи: равномерная последовательная, ускоренная последовательная, параллельные вычисления (там, где это возможно) или неопределенная (для данного метода) стратегия. Уменьшение части испытуемых, которые переходят на параллельную стратегию при кодировании входной информации формальными изображениями, показывает эффективность кодов, вызывающих предметные ассоциации. Они повышают скорость восприятия и переработки информации человеком. Статья содержит предварительную математическую модель, которая объясняет это явление. Она основана на появлении второго набора исходных данных, который возникает у человека в результате узнавания изображенных предметов.

    Koganov A.V., Rakcheeva T.A., Prikhodko D.I.
    Comparative analysis of human adaptation to the growth of visual information in the tasks of recognizing formal symbols and meaningful images
    Computer Research and Modeling, 2021, v. 13, no. 3, pp. 571-586

    We describe an engineering-psychological experiment that continues the study of ways to adapt a person to the increasing complexity of logical problems by presenting a series of problems of increasing complexity, which is determined by the volume of initial data. Tasks require calculations in an associative or non-associative system of operations. By the nature of the change in the time of solving the problem, depending on the number of necessary operations, we can conclude that a purely sequential method of solving problems or connecting additional brain resources to the solution in parallel mode. In a previously published experimental work, a person in the process of solving an associative problem recognized color images with meaningful images. In the new study, a similar problem is solved for abstract monochrome geometric shapes. Analysis of the result showed that for the second case, the probability of the subject switching to a parallel method of processing visual information is significantly reduced. The research method is based on presenting a person with two types of tasks. One type of problem contains associative calculations and allows a parallel solution algorithm. Another type of problem is the control one, which contains problems in which calculations are not associative and parallel algorithms are ineffective. The task of recognizing and searching for a given object is associative. A parallel strategy significantly speeds up the solution with relatively small additional resources. As a control series of problems (to separate parallel work from the acceleration of a sequential algorithm), we use, as in the previous experiment, a non-associative comparison problem in cyclic arithmetic, presented in the visual form of the game “rock, paper, scissors”. In this problem, the parallel algorithm requires a large number of processors with a small efficiency coefficient. Therefore, the transition of a person to a parallel algorithm for solving this problem is almost impossible, and the acceleration of processing input information is possible only by increasing the speed. Comparing the dependence of the solution time on the volume of source data for two types of problems allows us to identify four types of strategies for adapting to the increasing complexity of the problem: uniform sequential, accelerated sequential, parallel computing (where possible), or undefined (for this method) strategy. The Reducing of the number of subjects, who switch to a parallel strategy when encoding input information with formal images, shows the effectiveness of codes that cause subject associations. They increase the speed of human perception and processing of information. The article contains a preliminary mathematical model that explains this phenomenon. It is based on the appearance of a second set of initial data, which occurs in a person as a result of recognizing the depicted objects.

  5. Ситников С.С., Черемисин Ф.Г., Сазыкина Т.А.
    Моделирование начальной стадии истечения двухкомпонентной разреженной газовой смеси через тонкую щель в вакуум
    Компьютерные исследования и моделирование, 2021, т. 13, № 4, с. 747-759

    В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

    Sitnikov S.S., Tcheremissine F.G., Sazykina T.A.
    Simulation of the initial stage of a two-component rarefied gas mixture outflow through a thin slit into vacuum
    Computer Research and Modeling, 2021, v. 13, no. 4, pp. 747-759

    The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

  6. В работе выделены два значимых геометрических параметра, влияющих на интерполяцию физических величин, в методе гидродинамики сглаженных частиц (SPH). Это коэффициент сглаживания, связывающий размер частицы с величиной радиуса сглаживания, и коэффициент объема, позволяющий корректно определять массу частицы при заданном распределении частиц в среде.

    Предложена методика оценки влияния означенных параметров на точность интерполяций в методе SPH при решении гидростатической задачи. Для оценки точности численного решения вводятся аналитические функции относительной погрешности восстановления плотности и градиента давления в среде. Функции погрешности зависят от коэффициента сглаживания и коэффициента объема. Выбор конкретной интерполяции метода SPH позволяет преобразовать дифференциальную форму функций погрешности к форме алгебраического полинома. Корни такого полинома дают значения коэффициента сглаживания, обеспечивающие минимальную погрешность соответствующей интерполяции при заданном коэффициенте объема.

    В работе осуществлены вывод и анализф ункций относительных погрешностей плотности и градиента давления на выборке популярных ядер с различными радиусами сглаживания. Установлено, что для всех рассмотренных ядер не существует общего значения коэффициента сглаживания, обеспечивающего минимальную погрешность обеих SPH-интерполяций. Выделены представители ядер с различными радиусами сглаживания, позволяющие обеспечить наименьшие погрешности SPH-интерполяций при решении гидростатической задачи. Также определены некоторые ядра, не позволяющие обеспечить корректное интерполирование при решении гидростатической задачи методом SPH.

    Potapov I.I., Reshetnikova O.V.
    The two geometric parameters influence study on the hydrostatic problem solution accuracy by the SPH method
    Computer Research and Modeling, 2021, v. 13, no. 5, pp. 979-992

    The two significant geometric parameters are proposed that affect the physical quantities interpolation in the smoothed particle hydrodynamics method (SPH). They are: the smoothing coefficient which the particle size and the smoothing radius are connecting and the volume coefficient which determine correctly the particle mass for a given particles distribution in the medium.

    In paper proposes a technique for these parameters influence assessing on the SPH method interpolations accuracy when the hydrostatic problem solving. The analytical functions of the relative error for the density and pressure gradient in the medium are introduced for the accuracy estimate. The relative error functions are dependent on the smoothing factor and the volume factor. Designating a specific interpolation form in SPH method allows the differential form of the relative error functions to the algebraic polynomial form converting. The root of this polynomial gives the smoothing coefficient values that provide the minimum interpolation error for an assigned volume coefficient.

    In this work, the derivation and analysis of density and pressure gradient relative errors functions on a sample of popular nuclei with different smoothing radius was carried out. There is no common the smoothing coefficient value for all the considered kernels that provides the minimum error for both SPH interpolations. The nuclei representatives with different smoothing radius are identified which make it possible the smallest errors of SPH interpolations to provide when the hydrostatic problem solving. As well, certain kernels with different smoothing radius was determined which correct interpolation do not allow provide when the hydrostatic problem solving by the SPH method.

  7. Anh N.D., Hai P.H., Hanh N.T., Vinh N.Q.
    The dynamic model of a high-rise firefighting drone
    Компьютерные исследования и моделирование, 2022, т. 14, № 1, с. 115-126

    The utilization of unmanned aerial vehicles (UAVs) in high-rise firefighting operations is the right solution for reaching the fire scene on high floors quickly and effectively. The article proposes a quadrotor-type firefighting UAV model carrying a launcher to launch a missile containing fire extinguishing powders into a fire. The kinematic model describing the flight kinematics of this UAV model is built based on the Newton – Euler method when the device is in normal motion and at the time of launching a firefighting missile. The results from the simulation testing the validity of the kinematic model and the simulation of the motion of the UAV show that the variation of Euler angles, flight angles, and aerodynamic angles during a flight are within an acceptable range and overload guarantee in flight. The UAV flew to the correct position to launch the required fire-extinguishing ammunition. The results of the research are the basis for building a control system of high-rise firefighting drones in Vietnam.

    Ключевые слова: firefighting, aerospace control, dynamical, simulation.
    Anh N.D., Hai P.H., Hanh N.T., Vinh N.Q.
    The dynamic model of a high-rise firefighting drone
    Computer Research and Modeling, 2022, v. 14, no. 1, pp. 115-126

    The utilization of unmanned aerial vehicles (UAVs) in high-rise firefighting operations is the right solution for reaching the fire scene on high floors quickly and effectively. The article proposes a quadrotor-type firefighting UAV model carrying a launcher to launch a missile containing fire extinguishing powders into a fire. The kinematic model describing the flight kinematics of this UAV model is built based on the Newton – Euler method when the device is in normal motion and at the time of launching a firefighting missile. The results from the simulation testing the validity of the kinematic model and the simulation of the motion of the UAV show that the variation of Euler angles, flight angles, and aerodynamic angles during a flight are within an acceptable range and overload guarantee in flight. The UAV flew to the correct position to launch the required fire-extinguishing ammunition. The results of the research are the basis for building a control system of high-rise firefighting drones in Vietnam.

  8. Руденко В.Д., Юдин Н.Е., Васин А.А.
    Обзор выпуклой оптимизации марковских процессов принятия решений
    Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 329-353

    В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

    Rudenko V.D., Yudin N.E., Vasin A.A.
    Survey of convex optimization of Markov decision processes
    Computer Research and Modeling, 2023, v. 15, no. 2, pp. 329-353

    This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

  9. Подлипнова И.В., Дорн Ю.В., Склонин И.А.
    Облачная интерпретация энтропийной модели расчета матрицы корреспонденций
    Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 89-103

    С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

    Podlipnova I.V., Dorn Y.V., Sklonin I.A.
    Cloud interpretation of the entropy model for calculating the trip matrix
    Computer Research and Modeling, 2024, v. 16, no. 1, pp. 89-103

    As the population of cities grows, the need to plan for the development of transport infrastructure becomes more acute. For this purpose, transport modeling packages are created. These packages usually contain a set of convex optimization problems, the iterative solution of which leads to the desired equilibrium distribution of flows along the paths. One of the directions for the development of transport modeling is the construction of more accurate generalized models that take into account different types of passengers, their travel purposes, as well as the specifics of personal and public modes of transport that agents can use. Another important direction of transport models development is to improve the efficiency of the calculations performed. Since, due to the large dimension of modern transport networks, the search for a numerical solution to the problem of equilibrium distribution of flows along the paths is quite expensive. The iterative nature of the entire solution process only makes this worse. One of the approaches leading to a reduction in the number of calculations performed is the construction of consistent models that allow to combine the blocks of a 4-stage model into a single optimization problem. This makes it possible to eliminate the iterative running of blocks, moving from solving a separate optimization problem at each stage to some general problem. Early work has proven that such approaches provide equivalent solutions. However, it is worth considering the validity and interpretability of these methods. The purpose of this article is to substantiate a single problem, that combines both the calculation of the trip matrix and the modal choice, for the generalized case when there are different layers of demand, types of agents and classes of vehicles in the transport network. The article provides possible interpretations for the gauge parameters used in the problem, as well as for the dual factors associated with the balance constraints. The authors of the article also show the possibility of combining the considered problem with a block for determining network load into a single optimization problem.

  10. Галочкина Т.В., Вольперт В.А.
    Математическое моделирование распространения тромбина в процессе свертывания крови
    Компьютерные исследования и моделирование, 2017, т. 9, № 3, с. 469-486

    В случае повреждения сосуда или контакта плазмы крови с чужеродной поверхностью запускается цепь химических реакций (каскад свертывания), ведущая к формированию кровяного сгустка (тромба), основу которого составляют волокна фибрина. Ключевым компонентом каскада свертывания крови является фермент тромбин, катализирующий образование фибрина из фибриногена. Распределение концентрации тромбина определяет пространственно-временную динамику формирования кровяного сгустка. Контактный путь активации системы свертывания запускает реакцию образования тромбина в ответ на контакт с отрицательно заряженной поверхностью. Если концентрация тромбина, произведенного на этом этапе, достаточно велика, дальнейшее образование тромбина идет за счет положительных обратных связей каскада свертывания. В результате тромбин распространяется в плазме, что приводит к расщеплению фибриногена и формированию тромба. Профиль концентрации и скорость распространения тромбина в плазме постоянны и не зависят от того, как было активировано свертывание.

    Подобное поведение системы свертывания хорошо описывается решениями типа бегущей волны в системе уравнений «реакция – диффузия» на концентрации факторов крови, принимающих участие в каскаде свертывания. В настоящей работе проводится подробный анализма тематической модели, описывающей основные реакции каскада свертывания. Формулируются необходимые и достаточные условия существования решений системы типа бегущей волны. Для рассмотренной модели существование таких решений является эквивалентным существованию волновых решений упрощенной модели, полученной с помощью квазистационарного приближения и состоящей из одного уравнения, описывающего динамику концентрации тромбина.

    Упрощенная модель также позволяет нам получить аналитические оценки скорости распространения волны тромбина в рассматриваемых моделях. Скорость бегущей волны для одного уравнения была оценена с использованием метода узкой зоны реакции и с помощью кусочно-линейного приближения. Полученные формулы дают хорошее приближение скорости распространения волны тромбина как в упрощенной, так и в исходной модели.

    Galochkina T.V., Volpert V.A.
    Mathematical modeling of thrombin propagation during blood coagulation
    Computer Research and Modeling, 2017, v. 9, no. 3, pp. 469-486

    In case of vessel wall damage or contact of blood plasma with a foreign surface, the chain of chemical reactions called coagulation cascade is launched that leading to the formation of a fibrin clot. A key enzyme of the coagulation cascade is thrombin, which catalyzes formation of fibrin from fibrinogen. The distribution of thrombin concentration in blood plasma determines spatio-temporal dynamics of clot formation. Contact pathway of blood coagulation triggers the production of thrombin in response to the contact with a negatively charged surface. If the concentration of thrombin generated at this stage is large enough, further production of thrombin takes place due to positive feedback loops of the coagulation cascade. As a result, thrombin propagates in plasma cleaving fibrinogen that results in the clot formation. The concentration profile and the speed of propagation of thrombin are constant and do not depend on the type of the initial activator.

    Such behavior of the coagulation system is well described by the traveling wave solutions in a system of “reaction – diffusion” equations on the concentration of blood factors involved in the coagulation cascade. In this study, we carried out detailed analysis of the mathematical model describing the main reaction of the intrinsic pathway of coagulation cascade.We formulate necessary and sufficient conditions of the existence of the traveling wave solutions. For the considered model the existence of such solutions is equivalent to the existence of the wave solutions in the simplified one-equation model describing the dynamics of thrombin concentration derived under the quasi-stationary approximation.

    Simplified model also allows us to obtain analytical estimate of the thrombin propagation rate in the considered model. The speed of the traveling wave for one equation is estimated using the narrow reaction zone method and piecewise linear approximation. The resulting formulas give a good approximation of the velocity of propagation of thrombin in the simplified, as well as in the original model.

    Просмотров за год: 10. Цитирований: 1 (РИНЦ).
Страницы: « первая предыдущая следующая последняя »

Журнал индексируется в Scopus

Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU

Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science

Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"

Международная Междисциплинарная Конференция МАТЕМАТИКА. КОМПЬЮТЕР. ОБРАЗОВАНИЕ.