Все выпуски

Традиционные методы решения задачи коммивояжера не являются эффективными для задач высокой размерности из-за их высокой вычислительной сложности. Одним из эффективных способов решения этой проблемы является декомпозиционный подход, который включает в себя три основных этапа: кластеризацию вершин, решение подзадач внутри каждого кластера и последующее объединение полученных решений в итоговое. В данной статье основное внимание уделяется третьему этапу — объединению циклов решений подзадач, поскольку этому этапу не всегда уделяется должное внимание, что приводит к менее точному итоговому решению. В статье предлагается новый модифицированный алгоритм Сигала для объединения циклов. Для оценки его эффективности проводится сравнение с двумя алгоритмами объединения циклов: метод соединения средних точек ребер и алгоритм на основе близости центроидов кластеров. Исследуется зависимость качества решения подзадач на алгоритмы объединения циклов. Модифицированный алгоритм Сигала выполняет попарное объединение кластеров, минимизируя количество пересечений и общее расстояние. Метод центроидов ориентирован на соединение кластеров на основе близости центроидов, а алгоритм с использованием средних точек оценивает расстояние между средними точками ребер. Также были рассмотрены два типа кластеризации: алгоритмы k-means и affinity propagation. Для проверки эффективности предложенного алгоритма были проведены численные эксперименты на наборе данных TSPLIB с различным количеством городов. В исследовании анализируются ошибки, вызванные порядком объединения кластеров, качеством решения подзадач и количеством кластеров. Эксперименты показали, что модифицированный алгоритм Сигала демонстрирует наименьшую медиану итогового расстояния и наиболее устойчивые результаты по сравнению с другими методами. Результаты указывают на большую устойчивость качества конечного решения, полученным модифицированным алгоритмом Сигала, от последовательности объединения кластеров. Повышение качества решения подзадачи обычно приводит к линейному улучшению конечного решения, но используемый алгоритм объединения редко влияет на степень этого улучшения.

Traditional methods for solving the traveling salesman problem are not effective for high-dimensional problems due to their high computational complexity. One of the most effective ways to solve this problem is the decomposition approach, which includes three main stages: clustering vertices, solving subproblems within each cluster and then merging the obtained solutions into a final solution. This article focuses on the third stage — merging cycles of solving subproblems — since this stage is not always given sufficient attention, which leads to less accurate final solutions of the problem. The paper proposes a new modified Sigal algorithm for merging cycles. To evaluate its effectiveness, it is compared with two algorithms for merging cycles — the method of connecting midpoints of edges and an algorithm based on closeness of cluster centroids. The dependence of quality of solving subproblems on algorithms used for merging cycles is investigated. Sigal’s modified algorithm performs pairwise clustering and minimizes total distance. The centroid method focuses on connecting clusters based on closeness of centroids, and an algorithm using mid-points estimates the distance between mid-points of edges. Two types of clustering — k-means and affinity propagation — were also considered. Numerical experiments were performed using the TSPLIB dataset with different numbers of cities and topologies to test effectiveness of proposed algorithm. The study analyzes errors caused by the order in which clusters were merged, the quality of solving subtasks and number of clusters. Experiments show that the modified Sigal algorithm has the smallest median final distance and the most stable results compared to other methods. Results indicate that the quality of the final solution obtained using the modified Sigal algorithm is more stable depending on the sequence of merging clusters. Improving the quality of solving subproblems usually results in linear improvement of the final solution, but the pooling algorithm rarely affects the degree of this improvement.

В различных областях науки при моделировании и статистическом анализе данных, характеризующихся цикличностью (периодичностью), используют круговые или обернутые модели распределений. В работе рассматривается плотность распределения вероятностей фазы гармонического сигнала и сигнала с фазовой манипуляцией в условиях аддитивного белого гауссовского шума. Представлены выражения для моделирования выборки случайных фаз гармонического и модулированного сигналов с заданными параметрами и корреляционной функцией. Приведены выражения для плотности распределения фаз фазоманипулированного сигнала. Показано, что плотность распределения фазоманипулированного сигнала становится мультимодальной. Кроме того, рассматриваемая плотность распределения является периодической функцией, а значит, для ее разложения в ряд естественно использование тригонометрического базиса Фурье. В работе впервые получены аналитические выражения для коэффициентов ряда Фурье при разложении рассматриваемой плотности по гармоническому базису и представлен вывод соответствующих выражений. Представлены примеры компьютерного моделирования и соответствующие графические материалы при вычислении коэффициентов Фурье функции плотности распределения вероятностей фаз для гармонического и фазоманипулированного сигналов. Также выведены выражение для функции распределения фазы и его разложение в ряд Фурье. На основе представления плотности распределения фаз в виде ряда Фурье проведено сравнение с другими круговыми распределениями, часто применяемыми в практических задачах, — распределение Мизеса и обернутое нормальное распределение. Полученные в работе результаты представляют теоретический и практический интерес для моделирования и статистического анализа фаз сигналов в различных прикладных задачах в области радиотехники, цифровой связи, радиолокации. В частности, в задачах оценки отношения «сигнал/шум», вероятности ошибки на бит, а также надежности решений демодулятора, т.е. мягкой демодуляции фазоманипулированных сигналов. Аналитические выражения для коэффициентов ряда Фурье могут быть использованы при оценке эмпирической плотности распределения.

For modeling and statistical analysis of data characterized by cyclicity (periodicity) in various areas of science are used circular or wrapped distribution models. The phase distribution function of a harmonic and phase-shift-keying signal in case additive white Gaussian noise is considered. Algorithms for modeling random phases sample of harmonic and modulated signals with specified parameters and correlation function are presented. Expressions for the phase distribution density of the phase-shift-keying signal are given. It is shown that the phase probability density function of the phase-shift-keying signal becomes multimodal. In addition, the probability density function under consideration is a periodic function, which means that the trigonometric Fourier basis can be used to decompose it into a series. In paper for the first time, analytical expressions for the coefficients of the Fourier series when decomposing the density under consideration into a harmonic basis are obtained, and the derivation of the corresponding expressions are presented. Examples of computer modeling and corresponding graphical materials of calculating Fourier coefficients of the phase probability density function for harmonic and phase-shift-keying signals are presented. A formula for the cumulative distribution function and its decomposition into a Fourier series are also obtained. Based on the representation of the phase probability density function in the form of a Fourier series, a comparison is made with other circular distributions often used in practical problems, the Mises distribution and the wrapped normal distribution. The results obtained in this work are of theoretical and practical interest for modeling and statistical analysis of signal phases in various applied problems in area radio engineering, digital communication, radar, etc. In particular, in the problems of estimating the signal-to-noise ratio, the bit error rate, as well as the reliability of demodulator solutions, i. e. soft demodulation of phase-shift-keying signals. Analytical expressions for the Fourier series coefficients can be used to estimate the empirical probability density function.

Белок-белковые взаимодействия являются основой большинства биологических процессов. Компьютерное моделирование динамики связывания белков дает важную информацию для понимания механизмов их функционирования. Разработана компьютерная программа ProKSim (Protein Kinetics Simulator), предназначенная для моделирования взаимодействия макромолекул методом многочастичной броуновской динамики с учетом дальнодействующих электростатических взаимодействий. Проведено исследование диффузионно-столкновительных комплексов для трех пар белков: ферредоксин и ферредоксин:НАДФ⁺-редуктаза, пластоцианин и цитохром f, барназа и барстар. Исследована роль электростатических взаимодействий во взаимной ориентации молекул белков при образовании диффузионно-столкновительных комплексов.

Protein-protein interactions are of central importance for virtually every process in living matter. Modeling the dynamics of protein association is crucial for understanding their functionality. This paper proposes novel simulation software ProKSim (Protein Kinetics Simulator) for modeling of protein interactions by means of the multi-particle Brownian Dynamics. Effect of long-range electrostatic interactions on the process of transient encounter complex formation is numerically estimated. Investigation of transient encounter complex formation was performed for three pairs of proteins: ferredoxin and ferredoxin:NADP⁺-redustase, plastocyanin and cytochrome f, barnase and barstar.

В данной работе представлены результаты верификации исследований гидродинамических воздействий на возвращаемый аппарат сегментально-конической формы при посадке на воду. Для анализа используется программный комплекс FlowVision. Целью работы является подтверждение возможности использования данного программного комплекса для решения поставленных задач на основе сравнения расчетных и экспериментальных данных, полученных на моделях посадочного модуля корабля Apollo и возвращаемого аппарата пилотируемого транспортного корабля нового поколения, разрабатываемого в РКК «Энергия». Сравнивались значения давлений на поверхности моделей аппаратов в процессе погружения в воду и параметры движения центра масс.

Показано хорошее согласование экспериментальных и расчетных данных по силовому действию на конструкцию аппарата при приводнении и параметрам его движения в водной среде. Компьютерное моделирование адекватно отражает влияние на процесс приводнения начальных скоростей и углов входа аппарата в водную среду.

Использование компьютерного моделирования обеспечивает одновременное определение всей информации, необходимой для исследования в процессе проектирования изделия особенностей посадки на воду: гидродинамические воздействия для расчета прочности конструкции, параметры и динамику движения центра масс и вращения аппарата вокруг центра масс с целью оценки условий приводнения экипажа, а также остойчивость аппарата после приводнения.

Полученные результаты подтверждают необходимость использования программного комплекса FlowVision для исследования процесса приводнения аппарата и исследований влияния различных режимов посадки в широком диапазоне изменения начальных условий, что позволяет существенно сократить объём дорогостоящих экспериментальных исследований и реализовать условия посадки, трудновоспроизводимые в физическом эксперименте.

The results of verification carried out for investigations of hydrodynamic effect on reentry conicalsegmental space vehicle are presented in the paper. The program complex Flow Vision is used for this analysis. The purpose of the study is verification of using Flow Vision program complex for problem solving mentioned above on the base of comparison between calculated and experimental data, obtained on the Apollo landing models and new development reentry spacecraft of manned transporting spaceship designed by RSC Energia. The comparison was carried out through the data of pressure values on spacecraft model surfaces during its water landing and inertia center motion parameters.

The results of study show good agreement between experimental and calculated data of force effects on vehicle construction during water landing and its motion parameters in the water medium. Computer simulation sufficiently well reproduces influence of initial velocities & water entry angles variations on water landing process.

Using of computer simulation provides simultaneous acquisition of all data information needed for investigation of water landing peculiarities during construction design, notably, hydrodynamic effects for structural strength calculations, parameters and dynamics of center mass motion and vehicle revolution around center mass for estimation water landing conditions, as well as vehicle stability after landing.

Obtained results confirm suitability of using Flow Vision program complex for water landing vehicle investigations and investigations of influence of different landing regimes through wide initial condition change range, that permits considerably decrease extent of expensive experimental tests and realize landing conditions which are sufficiently complicated for realizing in model physical experiments.

В работе предлагается новая версия метода Гаусса–Ньютона для решения системы нелинейных уравнений, основанная на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. Предложенная версия метода Гаусса–Ньютона на практике фактически задает целое параметризованное семейство методов решения систем нелинейных уравнений и задач восстановления регрессионной зависимости. Разработанное семейство методов Гаусса–Ньютона состоит целиком из итеративных методов, включающих в себя также специальные формы алгоритмов Левенберга–Марквардта, с обобщением на случаи применения в неевклидовых нормированных пространствах. В разработанных методах используется локальная модель, осуществляющая параметризованное проксимальное отображение и допускающая на практике применение неточного оракула в формате «черного ящика» с ограничением на точность вычисления и на сложность вычисления. Для разработанного семейства методов приведен анализ эффективности в терминах количества итераций алгоритма, точности и сложности представления локальной модели и вычисления оракула, параметров размерности решаемой задачи с выводом локальной и глобальной сходимости при использовании произвольного оракула. В работе представлены условия глобальной сублинейной сходимости для предложенного семейства методов решения системы нелинейных уравнений, состоящих из гладких по Липшицу функций. В рамках дополнительных естественных предположений о невырожденности системы нелинейных функций установлена локальная суперлинейная сходимость для рассмотренного семейства методов. При выполнении условия Поляка–Лоясиевича для системы нелинейных уравнений доказана локальная и глобальная линейная сходимость рассмотренных методов Гаусса–Ньютона. Помимо теоретического обоснования методов, в работе рассматриваются вопросы их практической реализации. В частности, в проведенных экспериментах для точного оракула приводятся схемы эффективного вычисления в зависимости от параметров размерности решаемой задачи. Предложенное семейство методов объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса–Ньютона, позволяя получить гибкий и удобный в использовании метод, реализуемый на практике с помощью стандартных техник выпуклой оптимизации и вычислительной линейной алгебры.

In this paper, we introduce a new version of Gauss–Newton method for solving a system of nonlinear equations based on ideas of the residual upper bound for a system of nonlinear equations and a quadratic regularization term. The introduced Gauss–Newton method in practice virtually forms the whole parameterized family of the methods solving systems of nonlinear equations and regression problems. The developed family of Gauss–Newton methods completely consists of iterative methods with generalization for cases of non-euclidean normed spaces, including special forms of Levenberg–Marquardt algorithms. The developed methods use the local model based on a parameterized proximal mapping allowing us to use an inexact oracle of «black–box» form with restrictions for the computational precision and computational complexity. We perform an efficiency analysis including global and local convergence for the developed family of methods with an arbitrary oracle in terms of iteration complexity, precision and complexity of both local model and oracle, problem dimensionality. We present global sublinear convergence rates for methods of the proposed family for solving a system of nonlinear equations, consisting of Lipschitz smooth functions. We prove local superlinear convergence under extra natural non-degeneracy assumptions for system of nonlinear functions. We prove both local and global linear convergence for a system of nonlinear equations under Polyak–Lojasiewicz condition for proposed Gauss– Newton methods. Besides theoretical justifications of methods we also consider practical implementation issues. In particular, for conducted experiments we present effective computational schemes for the exact oracle regarding to the dimensionality of a problem. The proposed family of methods unites several existing and frequent in practice Gauss–Newton method modifications, allowing us to construct a flexible and convenient method implementable using standard convex optimization and computational linear algebra techniques.

В статье рассмотрены проблемы подготовки точных геометрических моделей стальных канатов, то есть геометрических моделей, основанных на математических моделях, позволяющих повторять геометрию моделируемого каната в трехмерном пространстве без существенных упрощений или условностей, с учетом целевого назначения модели. Предложены подходы к созданию точных геометрических моделей стальных канатов, не имеющих принципиальных ограничений по внедрению в расчетные области и дальнейшему построению конечно-элементных моделей на их основе. Рассмотрены обобщенная параметризованная геометрическая модель канатов одинарной и двойной свивки и ее алгоритмическая реализация с помощью ядра геометрического моделирования ОpenCASCADE Core Technology в среде Gmsh (свободно распространяемое программное обеспечение с открытым исходным кодом). Обозначена проблематика использования табличных данных из государственных и отраслевых стандартов сортамента стальных канатов как исходных данных для построения геометрических моделей стальных канатов. Разработаны методы априорной проверки коллизий геометрической модели на основе исходных данных геометрической модели и методы апостериорной проверки на основе булевых операций над телами проволок каната для выявления некорректных результатов генерации моделей тел проволок с криволинейными боковыми поверхностями на основе алгоритма последовательного иерархического построения отдельных проволок пряди и последовательного копирования прядей. Показаны особенности процесса построения геометрических моделей проволок каната различными методами экструзии: через последовательность образующих с формированием тела, ограниченного криволинейными поверхностями, через последовательность образующих с формированием тела, ограниченного линейно-аппроксимированными поверхностями, и экструзией одной образующей вдоль направляющей. Выполнена оценка вычислительной сложности процесса построения геометрических моделей и необходимого объема оперативной памяти ЭВМ для двух наиболее универсальных методов экструзии тел проволок. Разработан метод оценки значения шага расстановки образующих и исследовано влияние его значения на вычислительную сложность процедуры построения отдельных проволок каната. Даны рекомендации по выбору значения радиального зазора между проволоками. Показана алгоритмическая реализация метода поиска коллизий геометрической модели стального каната в неинтерактивном режиме и предложены подходы к формированию процедур обработки коллизий. Предложенные методы и подходы могут быть представлены в виде программных модулей как для исполнения в среде Gmsh, так и для иной среды, использующей ядро геометрического моделирования OpenCascade Core Technology, и позволяют автоматизировать построение точных геометрических моделей стальных канатов в любой конфигурации без принципиальных ограничений по последующему применению, как обособленному, так и в виде объектов (примитивов), пригодных для внедрения в стороннюю модель.

A review of the problems of preparing accurate geometric models of steel ropes based on mathematical models without significant simplifications, taking into account the intended purpose of the model, is carried out. Possible approaches to the generation of precise geometric models of steel ropes that have no fundamental limitations on their integration in computational domains and the subsequent construction of finite element models based on them are shown. A generalized parameterized geometric model of single and double twist ropes and its algorithmic implementation using the OpenCASCADE Core Technology geometric modeling kernel in the Gmsh environment (open source software) is considered. The problems of using generic tabular data from steel rope assortment standards as initial data for constructing geometric models are considered. Methods of preliminary verification of collisions of a geometric model based on the initial data of a geometric model are given. Post-verification methods based on Boolean operations over rope wire bodies are given to identify incorrect results of generating models of wire bodies with curvilinear side surfaces based on the algorithm of sequential hierarchical construction of individual wires of single strand and sequential copying of it. Various methods of the process of constructing geometric models of rope wires by extrusion are shown: through a sequence of generatrix with the formation of a body limited by curvilinear surfaces, through a sequence of generatrix with the formation of a body limited by linearly approximated surfaces, and extrusion of one generatrix along a single guideline. The computational complexity of the geometric model generation and the required volume of RAM for the two most universal methods of creating a body of wire are investigated. A method for estimating the value of the step of the arrangement of the generatrix of a single wire is shown, and the influence of its value on the computational complexity of the procedure of wire construction is investigated. Recommendations are given for choosing the value of the radial gap between the layers of wires. An algorithmic implementation of the method for searching for collisions of a geometric model of a steel rope in a non-interactive mode is shown. Approaches to the formation of procedures for processing collisions are proposed. Approaches presented in the article can be implemented in the form of software modules for execution in the Gmsh environment, as well as for another environment using the OpenCascade Core Technology geometric modeling kernel. Such modules allow automation of the construction of accurate geometric models of steel ropes in any configuration without fundamental restrictions on subsequent use, both stand-alone and in the form of objects (primitives) suitable for integration in a third-party model.

В работе развивается предложенный ранее метод компьютерной аналогии (МКА), основанный на формализации операций цифрового компьютера. Обсуждается место предлагаемого подхода среди известных методов. Подчеркивается, что целью является получение именно аналитических представлений решений, хотя пока в ряде случаев приходится ограничиться полуаналитическими аппроксимациями. Подробно изучается способ построения решений для уравнения Ван дер Поля (сводящегося к нелинейной системе дифференциальных уравнений), для систем Лоренца, Мариока – Шимицу и Рёсслера. Для трех последних нелинейных систем рассматриваются параметры, при которых решения демонстрируют черты детерминистического хаоса. Строятся полуаналитические решения, основанные на представлении решения в виде отрезка сходящегося степенного ряда по шагу независимой переменной при использовании аппроксимирующих разностных схем. Для предотвращения переполнения применяется формализованная операция переноса разрядов. Для перехода на следующий шаг по независимой переменной используется сходящаяся к решению разностная схема, называемая руководящей. Таким образом, получаемая аппроксимация суммой всего с несколькими членами обеспечивает приближение к решению с любой точностью в соответствии с точностью руководящей разностной схемы. Старшие разряды в получаемом приближении обнаруживают вероятностные свойства, которые удается моделировать известными распределениями, что приводит к получению аналитических и полуаналитических аппроксимаций. В работе представлены линейные приближения, являющиеся основой для полных приближений решений и дающие важные качественные, а также некоторые количественные свойства решений. Описываются аппроксимации различного порядка, в том числе и не гарантирующие сходимости к точному решению, но упрощающие анализ определенных свойств решения нелинейных уравнений и систем. В частности, для уравнения Ван дер Поля показывается, что соответствующая ему система уравнений имеет циклическое решение, а также оценивается его масштаб. С помощью модификаций МКА (с некоторыми чертами метода Монте-Карло), в которых удается свернуть рекуррентные последовательности, построены полные решения в простых ситуациях. Упоминается перспективный подход, позволяющий представлять решение с помощью ветвящихся цепных дробей.

This study develops a previously proposed Method of Computer Analogy (MCA) based on formalization of digital computer operations. The paper discusses the position of the proposed approach among other well-known methods. It is emphasized that the primary objective is to derive analytical solutions, although in some cases they have to resort to semianalytical approximations. The paper focuses on constructing solutions for systems which, for certain parameter values, demonstrate the deterministic chaos behavior, namely Lorenz, Marioka – Shimitsu and R¨ossler systems. The paper also considers obtaining solution for Van der Pol equation (reduced to a nonlinear system). The aim of the study is to construct semi-analytical solutions represented as a segment of a power series in a step size of approximating difference scheme. To prevent overflow, authors formalize rank transfer operation. The authors apply a convergent difference scheme, referred to as the “guiding” scheme, to advance to the next step of the independent variable. The resulting approximation by a sum with only a few terms provides an approximation to the solution with any accuracy in accordance with the accuracy of the governing difference scheme. The senior digits in the resulting approximation exhibit probabilistic properties that can be modeled by known distributions, thereby enabling the derivation of analytical and semi-analytical approximations. The paper presents linear approximations that are the base for a complete approximations of solutions and provide important qualitative as well as some quantitative properties of solutions of considered systems. This work describes approximations of various orders, including those that do not guarantee convergence to the exact solution, but simplify the analysis of certain properties of nonlinear equations and systems. In particular, for the Van der Pol equation, authors demonstrate that its corresponding system has a cyclic solution and provide an estimate of its scale. A modification of the MCA that has features of the Monte Carlo method makes it possible to remove recurrent sequences and construct complete solutions in simple situations. The authors mention a promising approach for representing the solution using branched continued fractions.

Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.

Monte Carlo (MC) reinforcement learning suffers from high sample complexity, especially in environments with sparse rewards, large state spaces, and strongly correlated trajectories that reduce the statistical efficiency of return estimation. These well-known limitations often lead to slow convergence and unstable learning dynamics, particularly in settings where only a small fraction of collected trajectories is actually informative for policy improvement. A key challenge is therefore to identify a compact yet diverse subset of episodes that contributes most to the accuracy of value estimates while preserving sufficient exploration of the environment. To address this challenge, we reformulate episode selection as a Quadratic Unconstrained Binary Optimization (QUBO) problem and solve it using quantum-inspired sampling techniques. Our method, MC+ QUBO, inserts a combinatorial filtering step into the standard MC policy-evaluation pipeline: given a batch of trajectories, it selects a subset that maximizes cumulative reward and encourages broad state-space coverage. This selection procedure is expressed as a QUBO model, where linear terms favor high-return episodes, quadratic terms penalize redundancy between trajectories, and additional coupling terms can be used to enforce coverage-related constraints or promote structural diversity. Within this framework, we investigate two black-box QUBO solvers: Simulated Quantum Annealing (SQA), which emulates tunneling-based exploration of the search landscape, and Simulated Bifurcation (SB), a dynamical-systems-based iterative optimization method. Both solvers demonstrate the ability to efficiently navigate the combinatorial structure of the trajectory-selection problem and to handle batch sizes that are otherwise computationally expensive for exhaustive or deterministic search. Experiments in a finite-horizon GridWorld environment show that MC+QUBO consistently outperforms vanilla MC in convergence speed, stability of return estimates, and final policy quality. These results highlight the promise of quantum-inspired optimization as a practical decision-making subroutine within reinforcement-learning algorithms, offering a scalable way to improve sample efficiency without modifying the underlying learning paradigm.

Разработан метод и комплекс программ для численного моделирования процесса формирования поляронных состояний в конденсированных средах. Проведено численное исследование этого процесса для водной среды при воздействии лазерного облучения в ультрафиолетовом диапазоне. Показано, что в рамках предложенного подхода удается численно воспроизвести экспериментальные данные по формированию гидратированных электронов. Представлена схема численного решения системы нелинейных дифференциальных уравнений в частных производных, описывающих динамическую модельпо лярона. Программная реализация выполнена с использованием технологии параллельного программирования MPI. Обсуждаются численные результаты в сравнении с экспериментальными данными и теоретическими оценками.

A method and a complex of computer programs are developed for the numerical simulation of the polaron states excitation process in condensed media. A numerical study of the polaron states formation in water under the action of the ultraviolet range laser irradiation is carried out. Our approach allows to reproduce the experimental data of the hydrated electrons formation. A numerical scheme is presented for the solution of the respective system of nonlinear partial differential equations. Parallel implementation is based on the MPI technique. The numerical results are given in comparison with the experimental data and theoretical estimations.

Предлагается нелинейная математическая модель динамики численности занятого населения разных возрастных групп с учетом их взаимодействий, которые рассматриваются по аналогии с популяционными взаимодействиями (конкуренция, дискриминация, помощь, угнетение и т. п.). Под взаимодействиями понимаются такие обобщенные социально-экономические механизмы, которые вызывают взаимосвязанные изменения численности занятых различных возрастных групп. Рассматриваются три возрастные группы занятого населения: молодые специалисты (15–29 лет), с опытом работы (30–49 лет), работники предпенсионного и пенсионного возраста (50 и старше). На основе статистических данных выполнена оценка параметров предложенной модели для южных регионов Дальневосточного федерального округа (ДФО). Анализ модели и модельных сценариев позволяет заключить, что наблюдаемые колебания численности разновозрастных работников на фоне стабильной общей численности занятого населения могут быть следствием сложных взаимодействий этих групп между собой. Вычислительные эксперименты, проведенные при полученных значениях параметров, позволили рассчитать темпы снижения численности и старения занятого населения, а также определить характер взаимодействий между возрастными группами занятых, прямо не отраженный в статистических данных. Установлено, что в целом по ДФО занятые 50 лет и старше находятся с работающей молодежью до 29 лет в отношениях дискриминации, занятые до 29 лет и 30–49 лет — в отношениях партнерства. Наиболее развитые регионы (Приморский край и Хабаровский край) демонстрируют «равномерную» конкуренцию среди разных возрастных групп занятого населения. Для Приморского края удалось выявить эффект перемешивания сценариев динамики, что характерно для систем, находящихся в состоянии структурной перестройки. Этот эффект выражается в том, что при значительном уменьшении миграционного притока занятых 30–49 лет будут формироваться длинные циклы занятости. Кроме того, изменение миграции сопровождается сменой типа взаимодействия — с дискриминации старшего поколения средним на дискриминацию среднего возраста старшим. Для менее развитых регионов Дальнего Востока (Амурская, Магаданская и Еврейская автономная области) характерны более низкие значения миграционного сальдо почти всех возрастов, а также дискриминация со стороны занятой молодежи до 29 лет других возрастных групп и дискриминация занятыми 30–49 лет старшего поколения.

The article focuses on a nonlinear mathematical model that describes the interaction of the different age groups of the employed population. The interactions are treated by analogy with population relationship (competition, discrimination, assistance, oppression, etc). Under interaction of peoples we mean the generalized social and economic mechanisms that cause related changes in the number of employees of different age groups. Three age groups of the employed population are considered. It is young specialists (15–29 years), workers with experience (30–49 years), the employees of pre-retirement and retirement age (50 and older). The estimation of model’s parameters for the southern regions of the Far Eastern Federal District (FEFD) is executed by statistical data. Analysis of model scenarios allows us to conclude the observed number fluctuations of the different ages employees on the background of a stable total employed population may be a consequence of complex interactions between these groups of peoples. Computational experiments with the obtained values of the parameters allowed us to calculate the rate of decline and the aging of the working population and to determine the nature of the interaction between the age groups of employees that are not directly as reflected in the statistics. It was found that in FEFD the employed of 50 years and older are discriminated against by the young workers under 29, employed up to 29 and 30–49 years are in a partnership. It is shown in most developed regions (Primorsky and Khabarovsk Krai) there is “uniform” competition among different age groups of the employed population. For Primorsky Krai we were able to identify the mixing effect dynamics. It is a typical situation for systems in a state of structural adjustment. This effect is reflected in the fact the long cycles of employed population form with a significant decrease in migration inflows of employees 30–49 years. Besides, the change of migration is accompanied by a change of interaction type — from employment discrimination by the oldest of middle generation to discrimination by the middle of older generation. In less developed regions (Amur, Magadan and Jewish Autonomous Regions) there are lower values of migration balance of almost all age groups and discrimination by young workers up 29 years of other age groups and employment discrimination 30–49 years of the older generation.