Все выпуски

Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.

Monte Carlo (MC) reinforcement learning suffers from high sample complexity, especially in environments with sparse rewards, large state spaces, and strongly correlated trajectories that reduce the statistical efficiency of return estimation. These well-known limitations often lead to slow convergence and unstable learning dynamics, particularly in settings where only a small fraction of collected trajectories is actually informative for policy improvement. A key challenge is therefore to identify a compact yet diverse subset of episodes that contributes most to the accuracy of value estimates while preserving sufficient exploration of the environment. To address this challenge, we reformulate episode selection as a Quadratic Unconstrained Binary Optimization (QUBO) problem and solve it using quantum-inspired sampling techniques. Our method, MC+ QUBO, inserts a combinatorial filtering step into the standard MC policy-evaluation pipeline: given a batch of trajectories, it selects a subset that maximizes cumulative reward and encourages broad state-space coverage. This selection procedure is expressed as a QUBO model, where linear terms favor high-return episodes, quadratic terms penalize redundancy between trajectories, and additional coupling terms can be used to enforce coverage-related constraints or promote structural diversity. Within this framework, we investigate two black-box QUBO solvers: Simulated Quantum Annealing (SQA), which emulates tunneling-based exploration of the search landscape, and Simulated Bifurcation (SB), a dynamical-systems-based iterative optimization method. Both solvers demonstrate the ability to efficiently navigate the combinatorial structure of the trajectory-selection problem and to handle batch sizes that are otherwise computationally expensive for exhaustive or deterministic search. Experiments in a finite-horizon GridWorld environment show that MC+QUBO consistently outperforms vanilla MC in convergence speed, stability of return estimates, and final policy quality. These results highlight the promise of quantum-inspired optimization as a practical decision-making subroutine within reinforcement-learning algorithms, offering a scalable way to improve sample efficiency without modifying the underlying learning paradigm.

В данной работе описана методика генерации синтетической базы данных стенозов, состоящей из 1620 записей. Каждая запись представляет собой результаты численного эксперимента по моделированию трехмерного течения вязкой несжимаемой жидкости через трубку с переменным сечением: перепад давлений, средний поток, усредненная по сечению скорость кровотока на входе в трубку, максимальная степень сужения стеноза, длина стеноза, асимметрия стеноза, радиус трубки, число Рейнольдса. База данных валидировалась путем сравнения с другими моделями (с эластичными стенками) и стендовыми экспериментами и показала отклонение перепадов давлений не выше 4%. База данных синтетических стенозов использовалась для обучения физически информированной нейронной сети для быстрой оценки перепада давления по четырем ключевым входным показателям: число Рейнольдса, длина стеноза, степень стеноза, степень асимметрии стеноза. Физическая информированность достигалась за счет введения штрафов в функцию потерь за отсутствие положительного перепада давления и за отсутствие монотонности перепада давления по входным параметрам. Физически информированная нейронная сеть показала более высокую точность на гемодинамических значимых стенозах при тестировании на валидационной выборке и на новых стенозах, не представленных в базе данных. Средняя относительная ошибка на стенозах длиной в 8 радиусов здорового сосуда составила 6% для физически информированной сети и 13% для классической нейронной сети. Ошибки на коротких стенозах длиной в 4 радиуса оказались почти одинаковы: 9,5% для физически информированной сети и 10% для классической нейронной сети. Разработанный метод функциональной оценки гемодинамической значимости стенозов может использоваться как самостоятельный инструмент для клинической оценки стенозов и как компонент сетевых моделей кровотока. Наибольшую актуальность подход приобретает при моделировании многососудистых поражений, которые доминируют в клинической практике. Ключевое преимущество метода заключается в физической корректности результатов и точности, сопоставимой с классическим моделированием, при значительно меньших вычислительных затратах.

This paper describes a method for generating a synthetic database of stenoses, consisting of 1620 entries. Each entry represents the results of a numerical experiment simulating the three-dimensional flow of a viscous incompressible fluid through a tube with a variable cross-section: pressure drop, mean flow rate, cross-sectionally averaged inlet blood flow velocity, maximum stenosis severity, stenosis length, stenosis asymmetry, tube radius, and Reynolds number. The database was validated by comparison with other models (with elastic walls) and bench experiments, showing a deviation in pressure drops of no more than 4%. The synthetic stenosis database was used to train a physics-informed neural network for the rapid estimation of pressure drop based on four key input parameters: Reynolds number, stenosis length, stenosis severity, and stenosis asymmetry coefficient. The physics-informed aspect was achieved by introducing penalties into the loss function for the absence of a positive pressure drop and for the lack of monotonicity of the pressure drop with respect to the input parameters. The physics-informed neural network demonstrated higher accuracy on hemodynamically significant stenoses when tested on a validation set and on new stenoses not represented in the database. The mean relative error for stenoses with a length of 8 healthy vessel radii was 6% for the physics-informed network and 13% for a classical neural network. The errors for short stenoses with a length of 4 radii were nearly identical: 9.5% for the physics-informed network and 10% for the classical neural network. The developed method for the functional assessment of the hemodynamic significance of stenoses can be used both as a standalone tool for clinical stenosis evaluation and as a component of network blood flow models. The approach becomes most relevant when modeling multi-vessel disease, which is predominant in clinical practice. The key advantage of the method lies in the physical correctness of the results and accuracy comparable to classical modeling, but with significantly lower computational costs.

Моделирование газовзвеси с большим перепадом давления и плотности представляет практический интерес при изучении вулканических явлений, взрывах на различных высотах, а также техногенных проблем эксплуатации космической техники и образования космического мусора.

В работе выполнено численное и аналитическое исследование разлета газовзвеси с большим отношением (до шести порядков) давлений и плотностей. Для численного моделирования использован гибридный метод крупных частиц высокой разрешающей способности. Для рассматриваемых условий задачи точность метода подтверждена сопоставлением с асимптотически точными решениями.

В ходе исследования были изучены волновые и структурные характеристики разлета концентрированных газовых взвесей в зависимости от объемной доли частиц, их размеров и начального отношения давлений. Было установлено, что показатель политропы и скорость звука в газовой взвеси зависят не только от температуры, но и от давления и концентрации частиц. С увеличением давления значения показателя политропы и скорости звука возрастают, а с увеличением объемной доли дисперсной фазы — уменьшаются. При распаде произвольного разрыва с увеличением начального давления наблюдается необычное, по сравнению с «чистой» газодинамикой, уменьшение относительной скорости смеси в зоне постоянного течения. Это объясняется нелинейной зависимостью скорости звука в газодисперсной смеси от давления.

С увеличением размеров частиц (числа Стокса) происходит разделение течения смеси на газовую и дисперсную составляющие. В начальный момент времени контактный разрыв, разделяющий смесь и область разреженного газа, расщепляется на две контактные границы: газовую и дисперсную. Практический вывод заключается в том, что при изменении размера частиц на два порядка газодинамические параметры смеси во бласти волны разрежения и до границы раздела сред близки между собой.

В процессе пространственного разлета происходит последовательное изменение начальной цилиндрической формы дисперсной среды в форму с сечением вв иде шестигранника. На следующем этапе расширения частицы распределяются, образуя двустороннюю коническую форму. В дальнейшем формируется дисперсное образование, близкое к форме шара.

Modeling of gas-particle suspensions with large pressure and density gradients is of practical interest in the study of volcanic phenomena, explosions at different altitudes, as well as in technogenic problems related to the operation of space technology and the formation of space debris. This work presents numerical and analytical investigations of the expansion of gas suspensions with a high ratio (up to six orders of magnitude) of pressures and densities. For numerical modeling, a high-resolution hybrid large-particle method was employed. Under the conditions considered, the accuracy of the method was confirmed by comparison with asymptotically exact solutions. The study examined the wave and structural characteristics of concentrated gas suspension expansion depending on particle volume fraction, particle size, and initial pressure ratio. It was found that the polytropic index and sound speed in the gas suspension depend not only on temperature but also on pressure and particle concentration. With increasing pressure, both the polytropic index and sound speed rise, while with increasing particle volume fraction they decrease. In the case of an arbitrary discontinuity decay, an unusual effect is observed compared with “pure” gas dynamics: the relative velocity of the mixture in the uniform flow region decreases as the initial pressure increases. This is explained by the nonlinear dependence of the sound speed in a gas-dispersed mixture on pressure. With increasing particle size (Stokes number), the mixture flow splits into gaseous and dispersed components. At the initial moment, the contact discontinuity separating the mixture from the rarefied gas region splits into two contact boundaries: gaseous and dispersed. A practical conclusion is that when the particle size changes by two orders of magnitude, the gas-dynamic parameters of the mixture in the rarefaction wave region and up to the medium interface remain close to each other. During spatial expansion, the initial cylindrical shape of the dispersed medium successively transforms into a cross-section resembling a hexagon. At the next stage of expansion, the particles redistribute to form a bilateral conical structure. Eventually, a dispersed formation close to a spherical shape emerges.

Решение задачи стационарного потокораспределения для произвольной гидросистемы без объемов со свободным уровнем может быть сведено к поиску экстремумов функции многих переменных. В качестве этой функции используется функция Релея, выраженная через гидравлические характеристики участков рассматриваемой системы. Она же является функцией Ляпунова при исследовании устойчивости найденных стационарных режимов работы гидросистемы прямым методом Ляпунова.

Solving the problem of stationary stream distribution for an arbitrary volume-free hydrosystem with a free level can be reduced to determining the extremes of a multi-variable function. Rayleigh function expressed in terms of the hydraulic characteristics of the parts of the system in question is used as such a function. The same function is Lyapunov function when analyzing the stability of the determined stationary operational modes of a hydrosystem using the direct Lyapunov method.

Статья была ретрагирована 3 мая 2022 года по просьбе авторов в связи с тем, что включенные в статью данные были опубликованы в статье Нечипуренко Ю.Д., Головкин М.В., Нечипуренко Д.Ю., Ильичева И.А., Панченко Л.А., Полозов Р.В., Гроховский С.Л. Характерные особенности расщепления ДНК ультразвуком. Журнал структурной химии, 2009, том 50, номер 5, страницы 1045-1052.

The article was retracted on May 3, 2022 at the request of the authors due to the fact that the data included in the article were published in the article by Nechipurenko Y.D., Golovkin M.V., Nechipurenko D.Yu., Ilyicheva I.A., Panchenko L. .A., Polozov R.V., Grokhovsky S.L. Kharakternye osobennosti rasshchepleniya DNK ul'trazvukom [Characteristic features of DNA cleavage by ultrasound]. Journal of Structural Chemistry, 2009, volume 50, number 5, pages 1045-1052 (in Russian).

Целью исследований является разработка программного комплекса для решения задач газовой динамики в многосвязных областях правильной геометрии на высокопроизводительной вычислительной системе. Сравниваются различные технологии реализации параллельных вычислений. Программный комплекс реализован на многопоточных параллельных системах, использующих для организации расчета как многоядерную архитектуру, так и массивно-параллельную. Проведено сравнение численных результатов на основе программного комплекса с известными решениями модельных задач. Проведено исследование производительности различных вычислительных платформ.

The aim of research is to develop software system for solving gas dynamic problem in multiply connected integration domains of regular shape by high-performance computing system. Comparison of the various technologies of parallel computing has been done. The program complex is implemented using multithreaded parallel systems to organize both multi-core and massively parallel calculation. The comparison of numerical results with known model problems solutions has been done. Research of performance of different computing platforms has been done.

Методом математического моделирования на основе метода крупных частиц исследуется динамика распространения пожара в однородном степном массиве.

We consider the two-dimensional mathematical model of wildfire. Numerical solution algorithm based on the method of large particles was developed for this model.

В данной работе решается задача поиска конструкции магнитной системы для создания магнитного поля с требуемыми характеристиками в заданной области. На основе анализа математической модели магнитной системы предлагается достаточно общий подход к решению нелинейной обратной задачи, которая описывается уравнением Фредгольма H(z) = ∫_SIJ(s)G(z, s)ds, z ∈ S _H, s ∈ S _I . Необходимо определить распределение плотности тока J(s), а также расстановку источников тока для создания поля H(z). В работе предлагается метод решения этих задачс помощью регуляризованных итерационных процессов. На примере конкретной магнитной системы проводится численное исследование влияния различных факторов на характер создаваемого магнитного поля.

In this paper the problem of searching for the design of the magnetic system for creation a magnetic field with the required characteristics in the given area is solved. On the basis of analysis of the mathematical model of the magnetic system rather a general approach is proposed to the solving of the inverse problem, which is written by the Fredgolm equation H(z) = ∫_SIJ(s)G(z, s)ds, z ∈ S _H, s ∈ S _I . It was necessary to define the current density distribution function J(s) and the existing winding geometry for creation of a required magnetic field H(z). In the paper a method of solving those by means of regularized iterative processes is proposed. On the base of the concrete magnetic system we perform the numerical study of influence of different factors on the character of the magnetic field being designed.

Предложен новый набор ключевых баллистических параметров: b₀ = tgθ₀, θ₀ — угол вылета, R_a — вершинный радиус кривизны траектории и β₀ — безразмерный квадрат разворотной скорости, и на его основе разработан новый прием приближенного интегрирования уравнений динамики материальной точки в среде с квадратичным сопротивлением (α = R/mg = 0,5…1,5) при tgθ₀ < 0,5. Способ базируется на преобразованиях Лежандра, и он дает формулы с автоматически подстраиваемой точностью как для текущих координат x(b), y(b) и времени t(b), b = tgθ — текущий наклон траектории, так и для основных параметров (время T, дальность L, положение вершины L_a) траектории в диапазоне, далеко выходящем за малоугловую область прицельной стрельбы. Точность формул выверялась при помощи продукта Maple.

New key parameters, namely b₀ = tgθ₀, θ₀ — angle of throwing, R_a — top curvature radius and β₀ — dimensionless speed square on the top of low angular trajectory were suggested in classic problem of integrating nonlinear equations of point mass projectile motion with quadratic air drag. Very precise formulae were obtained in a new way for coordinates x(b), y(b) and fly time t(b), b = tgθ where θ is inclination angle. This method is based on Legendre transformation and its precision is automatically improved in wide range of the θ₀ values and drag force parameters α. The precision was monitored by Maple computing product.

В статье рассматриваются локальная и двойная локальная оценка метода Монте-Карло при решении уравнения глобального освещения. Локальная оценка позволяет в диффузном приближении рассчитывать освещенность в произвольной точке, тогда как двойная локальная оценка позволяется вычислять непосредственно яркость в заданной точке по заданному направлению. В статье дается математическое обоснование локальных оценок и рассмотрены основные этапы реализации программного обеспечения. Также рассматривается представление трехмерных объектов в базисе сферических функций и возможность использования их в локальных оценках.

The article deals with the local and double local estimation of the Monte Carlo method for solving the equation of global illumination. The local estimation allows calculating the illumination at any point at the approximation of diffuse reflection, whereas the double local estimation allows calculating directly the luminance at a given point in a given direction. The article presents the mathematical basis of local estimations and the basic stages of the software implementation. The representation of three-dimensional objects in the basis of spherical functions and the possibility of using them in the local estimations are also considered.