Все выпуски

Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.

Monte Carlo (MC) reinforcement learning suffers from high sample complexity, especially in environments with sparse rewards, large state spaces, and strongly correlated trajectories that reduce the statistical efficiency of return estimation. These well-known limitations often lead to slow convergence and unstable learning dynamics, particularly in settings where only a small fraction of collected trajectories is actually informative for policy improvement. A key challenge is therefore to identify a compact yet diverse subset of episodes that contributes most to the accuracy of value estimates while preserving sufficient exploration of the environment. To address this challenge, we reformulate episode selection as a Quadratic Unconstrained Binary Optimization (QUBO) problem and solve it using quantum-inspired sampling techniques. Our method, MC+ QUBO, inserts a combinatorial filtering step into the standard MC policy-evaluation pipeline: given a batch of trajectories, it selects a subset that maximizes cumulative reward and encourages broad state-space coverage. This selection procedure is expressed as a QUBO model, where linear terms favor high-return episodes, quadratic terms penalize redundancy between trajectories, and additional coupling terms can be used to enforce coverage-related constraints or promote structural diversity. Within this framework, we investigate two black-box QUBO solvers: Simulated Quantum Annealing (SQA), which emulates tunneling-based exploration of the search landscape, and Simulated Bifurcation (SB), a dynamical-systems-based iterative optimization method. Both solvers demonstrate the ability to efficiently navigate the combinatorial structure of the trajectory-selection problem and to handle batch sizes that are otherwise computationally expensive for exhaustive or deterministic search. Experiments in a finite-horizon GridWorld environment show that MC+QUBO consistently outperforms vanilla MC in convergence speed, stability of return estimates, and final policy quality. These results highlight the promise of quantum-inspired optimization as a practical decision-making subroutine within reinforcement-learning algorithms, offering a scalable way to improve sample efficiency without modifying the underlying learning paradigm.

В данной работе описана методика генерации синтетической базы данных стенозов, состоящей из 1620 записей. Каждая запись представляет собой результаты численного эксперимента по моделированию трехмерного течения вязкой несжимаемой жидкости через трубку с переменным сечением: перепад давлений, средний поток, усредненная по сечению скорость кровотока на входе в трубку, максимальная степень сужения стеноза, длина стеноза, асимметрия стеноза, радиус трубки, число Рейнольдса. База данных валидировалась путем сравнения с другими моделями (с эластичными стенками) и стендовыми экспериментами и показала отклонение перепадов давлений не выше 4%. База данных синтетических стенозов использовалась для обучения физически информированной нейронной сети для быстрой оценки перепада давления по четырем ключевым входным показателям: число Рейнольдса, длина стеноза, степень стеноза, степень асимметрии стеноза. Физическая информированность достигалась за счет введения штрафов в функцию потерь за отсутствие положительного перепада давления и за отсутствие монотонности перепада давления по входным параметрам. Физически информированная нейронная сеть показала более высокую точность на гемодинамических значимых стенозах при тестировании на валидационной выборке и на новых стенозах, не представленных в базе данных. Средняя относительная ошибка на стенозах длиной в 8 радиусов здорового сосуда составила 6% для физически информированной сети и 13% для классической нейронной сети. Ошибки на коротких стенозах длиной в 4 радиуса оказались почти одинаковы: 9,5% для физически информированной сети и 10% для классической нейронной сети. Разработанный метод функциональной оценки гемодинамической значимости стенозов может использоваться как самостоятельный инструмент для клинической оценки стенозов и как компонент сетевых моделей кровотока. Наибольшую актуальность подход приобретает при моделировании многососудистых поражений, которые доминируют в клинической практике. Ключевое преимущество метода заключается в физической корректности результатов и точности, сопоставимой с классическим моделированием, при значительно меньших вычислительных затратах.

This paper describes a method for generating a synthetic database of stenoses, consisting of 1620 entries. Each entry represents the results of a numerical experiment simulating the three-dimensional flow of a viscous incompressible fluid through a tube with a variable cross-section: pressure drop, mean flow rate, cross-sectionally averaged inlet blood flow velocity, maximum stenosis severity, stenosis length, stenosis asymmetry, tube radius, and Reynolds number. The database was validated by comparison with other models (with elastic walls) and bench experiments, showing a deviation in pressure drops of no more than 4%. The synthetic stenosis database was used to train a physics-informed neural network for the rapid estimation of pressure drop based on four key input parameters: Reynolds number, stenosis length, stenosis severity, and stenosis asymmetry coefficient. The physics-informed aspect was achieved by introducing penalties into the loss function for the absence of a positive pressure drop and for the lack of monotonicity of the pressure drop with respect to the input parameters. The physics-informed neural network demonstrated higher accuracy on hemodynamically significant stenoses when tested on a validation set and on new stenoses not represented in the database. The mean relative error for stenoses with a length of 8 healthy vessel radii was 6% for the physics-informed network and 13% for a classical neural network. The errors for short stenoses with a length of 4 radii were nearly identical: 9.5% for the physics-informed network and 10% for the classical neural network. The developed method for the functional assessment of the hemodynamic significance of stenoses can be used both as a standalone tool for clinical stenosis evaluation and as a component of network blood flow models. The approach becomes most relevant when modeling multi-vessel disease, which is predominant in clinical practice. The key advantage of the method lies in the physical correctness of the results and accuracy comparable to classical modeling, but with significantly lower computational costs.

Моделирование газовзвеси с большим перепадом давления и плотности представляет практический интерес при изучении вулканических явлений, взрывах на различных высотах, а также техногенных проблем эксплуатации космической техники и образования космического мусора.

В работе выполнено численное и аналитическое исследование разлета газовзвеси с большим отношением (до шести порядков) давлений и плотностей. Для численного моделирования использован гибридный метод крупных частиц высокой разрешающей способности. Для рассматриваемых условий задачи точность метода подтверждена сопоставлением с асимптотически точными решениями.

В ходе исследования были изучены волновые и структурные характеристики разлета концентрированных газовых взвесей в зависимости от объемной доли частиц, их размеров и начального отношения давлений. Было установлено, что показатель политропы и скорость звука в газовой взвеси зависят не только от температуры, но и от давления и концентрации частиц. С увеличением давления значения показателя политропы и скорости звука возрастают, а с увеличением объемной доли дисперсной фазы — уменьшаются. При распаде произвольного разрыва с увеличением начального давления наблюдается необычное, по сравнению с «чистой» газодинамикой, уменьшение относительной скорости смеси в зоне постоянного течения. Это объясняется нелинейной зависимостью скорости звука в газодисперсной смеси от давления.

С увеличением размеров частиц (числа Стокса) происходит разделение течения смеси на газовую и дисперсную составляющие. В начальный момент времени контактный разрыв, разделяющий смесь и область разреженного газа, расщепляется на две контактные границы: газовую и дисперсную. Практический вывод заключается в том, что при изменении размера частиц на два порядка газодинамические параметры смеси во бласти волны разрежения и до границы раздела сред близки между собой.

В процессе пространственного разлета происходит последовательное изменение начальной цилиндрической формы дисперсной среды в форму с сечением вв иде шестигранника. На следующем этапе расширения частицы распределяются, образуя двустороннюю коническую форму. В дальнейшем формируется дисперсное образование, близкое к форме шара.

Modeling of gas-particle suspensions with large pressure and density gradients is of practical interest in the study of volcanic phenomena, explosions at different altitudes, as well as in technogenic problems related to the operation of space technology and the formation of space debris. This work presents numerical and analytical investigations of the expansion of gas suspensions with a high ratio (up to six orders of magnitude) of pressures and densities. For numerical modeling, a high-resolution hybrid large-particle method was employed. Under the conditions considered, the accuracy of the method was confirmed by comparison with asymptotically exact solutions. The study examined the wave and structural characteristics of concentrated gas suspension expansion depending on particle volume fraction, particle size, and initial pressure ratio. It was found that the polytropic index and sound speed in the gas suspension depend not only on temperature but also on pressure and particle concentration. With increasing pressure, both the polytropic index and sound speed rise, while with increasing particle volume fraction they decrease. In the case of an arbitrary discontinuity decay, an unusual effect is observed compared with “pure” gas dynamics: the relative velocity of the mixture in the uniform flow region decreases as the initial pressure increases. This is explained by the nonlinear dependence of the sound speed in a gas-dispersed mixture on pressure. With increasing particle size (Stokes number), the mixture flow splits into gaseous and dispersed components. At the initial moment, the contact discontinuity separating the mixture from the rarefied gas region splits into two contact boundaries: gaseous and dispersed. A practical conclusion is that when the particle size changes by two orders of magnitude, the gas-dynamic parameters of the mixture in the rarefaction wave region and up to the medium interface remain close to each other. During spatial expansion, the initial cylindrical shape of the dispersed medium successively transforms into a cross-section resembling a hexagon. At the next stage of expansion, the particles redistribute to form a bilateral conical structure. Eventually, a dispersed formation close to a spherical shape emerges.

Решение задачи стационарного потокораспределения для произвольной гидросистемы без объемов со свободным уровнем может быть сведено к поиску экстремумов функции многих переменных. В качестве этой функции используется функция Релея, выраженная через гидравлические характеристики участков рассматриваемой системы. Она же является функцией Ляпунова при исследовании устойчивости найденных стационарных режимов работы гидросистемы прямым методом Ляпунова.

Solving the problem of stationary stream distribution for an arbitrary volume-free hydrosystem with a free level can be reduced to determining the extremes of a multi-variable function. Rayleigh function expressed in terms of the hydraulic characteristics of the parts of the system in question is used as such a function. The same function is Lyapunov function when analyzing the stability of the determined stationary operational modes of a hydrosystem using the direct Lyapunov method.

Рассматривается математическая модель малой экосистемы типа хищник – жертва с нижним порогом численности жертвы. Предполагается, что экосистема находится под воздействием промысла. Изменение интенсивности промысла ведет к изменению двух параметров модели, которые рассматриваются как управляемые. Построена бифуркационная диаграмма в плоскости управ-ляемых параметров и приведены соответствующие фазовые портреты.

A mathematical model of predator – prey microecosystem with lower critical population number of prey is considered. The predator – prey system is assumed to be under harvesting. Harvesting intensity variations generate changes in two model parameters which are considered as controllable. Bifurcation diagram in control-lable parameters plane is constructed and corresponding phase portraits are represented.

Рассмотрены основные теоретические представления о динамических сменах лесной растительности — сукцессиях. Показано, что динамика растительности и почвы взаимосвязаны, и она определяется особенностями биологического круговорота элементов питания. Рассмотрены основные модельные подходы, формулируются нерешенные задачи. Приведен пример вычислительного эксперимента по сравнению роста леса при стационарном климате и потеплении.

Main theoretical considerations of dynamical changes of forest vegetation are discussed. It is shown that vegetation dynamics (succession) and soil dynamics are linked, and common dynamics is a result of biological turnover of nutrition elements. Main modelling approaches are examined and unsolved problems are formulated. An example of computer experiment on comparison of forest growth at stationary and global warming scenario is considered.

Разработана численная модель распространения возмущений скорости тока крови и давления по кровеносному сосуду с тромбом, расположенным в точке венозной бифуркации, и их влияния на динамику тромба. Модель построена в акустическом (линейном) приближении. Результаты расчетов позволят определить условия возникновения резонансных колебаний тромба, которые могут привести к его отрыву и тромбоэмболии.

In this paper a numerical model for blood flow through a venous bifurcation with an obliterating clot is investigated. We studied propagation of perturbations of blood flow velocity and perturbations of pressure inside the vein. The model is built in acoustic (linear) approximation. Computational results reveal conditions for clot resonance oscillation, which can cause its detachment and thromboembolism.

Целью исследований является разработка программного комплекса для решения задач газовой динамики в многосвязных областях правильной геометрии на высокопроизводительной вычислительной системе. Сравниваются различные технологии реализации параллельных вычислений. Программный комплекс реализован на многопоточных параллельных системах, использующих для организации расчета как многоядерную архитектуру, так и массивно-параллельную. Проведено сравнение численных результатов на основе программного комплекса с известными решениями модельных задач. Проведено исследование производительности различных вычислительных платформ.

The aim of research is to develop software system for solving gas dynamic problem in multiply connected integration domains of regular shape by high-performance computing system. Comparison of the various technologies of parallel computing has been done. The program complex is implemented using multithreaded parallel systems to organize both multi-core and massively parallel calculation. The comparison of numerical results with known model problems solutions has been done. Research of performance of different computing platforms has been done.

Методом математического моделирования на основе метода крупных частиц исследуется динамика распространения пожара в однородном степном массиве.

We consider the two-dimensional mathematical model of wildfire. Numerical solution algorithm based on the method of large particles was developed for this model.

The paper is an example of computer simulation in mechanical engineering. Velocity field in a hydrocyclone are determined numerically, because for direct measurements it is difficult to achieve them. The numerical simulation of 3D fluid dynamics based on the k-eps RNG model of turbulence in the hydrocyclone with the injector, containing 5 tangentially directed nozzles is considered. It is shown that the direction of movement of
injected fluid in the hydrocyclone depends on the water flow rate through the injector. The calculations show in accordance with the experiments that the dependence of the Split-parameter on the injected water flow rate has a non-monotone character associated with the ratio of power of the main flow and the injected fluid.

Статья представляет собой пример компьютерного моделирования в области инженерной механики. Численным методом находятся поля скорости в гидроциклоне, которые недоступны прямому измерению. Рассматривается численное моделирование трехмерной гидродинамики на основе k-ε RNG модели турбулентности в гидроциклоне со встроенным инжектором, содержащим 5 тангенциально направленных сопла. Показано, что направление движения инжектируемой жидкости зависит от расхода жидкости через инжектор. Расчеты показывают в соответствии с экспериментами, что зависимость сплит-параметра от расхода инжектируемой жидкости имеет немонотонный характер, связанный с отношением мощности основного потока и инжектируемой жидкости.