Текущий выпуск Номер 2, 2025 Том 17

Все выпуски

Результаты поиска по 'convergence of method':
Найдено статей: 79
  1. Гладин Е.Л., Бородич Е.Д.
    Редукция дисперсии для минимаксных задач с небольшой размерностью одной из переменных
    Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 257-275

    Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

    Gladin E.L., Borodich E.D.
    Variance reduction for minimax problems with a small dimension of one of the variables
    Computer Research and Modeling, 2022, v. 14, no. 2, pp. 257-275

    The paper is devoted to convex-concave saddle point problems where the objective is a sum of a large number of functions. Such problems attract considerable attention of the mathematical community due to the variety of applications in machine learning, including adversarial learning, adversarial attacks and robust reinforcement learning, to name a few. The individual functions in the sum usually represent losses related to examples from a data set. Additionally, the formulation admits a possibly nonsmooth composite term. Such terms often reflect regularization in machine learning problems. We assume that the dimension of one of the variable groups is relatively small (about a hundred or less), and the other one is large. This case arises, for example, when one considers the dual formulation for a minimization problem with a moderate number of constraints. The proposed approach is based on using Vaidya’s cutting plane method to minimize with respect to the outer block of variables. This optimization algorithm is especially effective when the dimension of the problem is not very large. An inexact oracle for Vaidya’s method is calculated via an approximate solution of the inner maximization problem, which is solved by the accelerated variance reduced algorithm Katyusha. Thus, we leverage the structure of the problem to achieve fast convergence. Separate complexity bounds for gradients of different components with respect to different variables are obtained in the study. The proposed approach is imposing very mild assumptions about the objective. In particular, neither strong convexity nor smoothness is required with respect to the low-dimensional variable group. The number of steps of the proposed algorithm as well as the arithmetic complexity of each step explicitly depend on the dimensionality of the outer variable, hence the assumption that it is relatively small.

  2. Гренкин Г.В.
    Об однозначности идентификации параметров скорости реакции в модели горения
    Компьютерные исследования и моделирование, 2023, т. 15, № 6, с. 1469-1476

    Рассмотрена модель горения предварительно перемешанной смеси газов с одной глобальной химической реакцией, включающая в себя уравнения второго порядка относительно температуры смеси и концентраций топлива и окислителя, в правые части которых входит функция скорости реакции. Эта функция зависит от пяти неизвестных параметров глобальной реакции и служит приближением для многоступенчатого механизма реакций. Модель сводится к одному уравнению второго порядка относительно температуры смеси, которое после замены переменных преобразуется к уравнению первого порядка относительно производной температуры, зависящей от температуры, в которое входит параметр скорости распространения пламени. Таким образом, для вычисления параметра скорости распространения пламени необходимо решить задачу Дирихле для уравнения первого порядка, в результате чего получится модельная зависимость скорости распространения пламени от эквивалентного отношения смеси при заданных параметрах скорости реакции. При наличии экспериментальных данных зависимости скорости распространения пламени от эквивалентного отношения смеси ставится задача оптимального подбора параметров скорости реакции, исходя из минимизации среднеквадратичного отклонения модельных значений скорости распространения пламени от эксперимента. Целью работы является исследование однозначности решения этой задачи. Для этого применяется вычислительный эксперимент, в ходе которого решается задача глобального поиска оптимумов с помощью мультистарта градиентного спуска. В ходе вычислительного эксперимента выяснено, что обратная задача в такой постановке является недоопределенной, и всякий раз при запуске градиентного метода из новой точки получается новая предельная точка. Исследована структура множества предельных точек в пятимерном пространстве параметров и показано, что это множество может быть описано тремя линейными уравнениями. Таким образом, будет некорректным табулировать все пять параметров скорости реакции исходя из одного лишь критерия соответствия модели данным скорости распространения пламени. Вывод исследования заключается в том, что для корректного табулирования параметров необходимо указать значения двух из них исходя из дополнительных критериев оптимальности.

    Grenkin G.V.
    On the uniqueness of identification of reaction rate parameters in a combustion model
    Computer Research and Modeling, 2023, v. 15, no. 6, pp. 1469-1476

    A model of combustion of premixed mixture of gases with one global chemical reaction is considered, the model includes equations of the second order for temperature of mixture and concentrations of fuel and oxidizer, and the right-hand sides of these equations contain the reaction rate function. This function depends on five unknown parameters of the global reaction and serves as approximation to multistep reaction mechanism. The model is reduced, after replacement of variables, to one equation of the second order for temperature of mixture that transforms to a first-order equation for temperature derivative depending on temperature that contains a parameter of flame propagation velocity. Thus, for computing the parameter of burning velocity, one has to solve Dirichlet problem for first-order equation, and after that a model dependence of burning velocity on mixture equivalence ratio at specified reaction rate parameters will be obtained. Given the experimental data of dependence of burning velocity on mixture equivalence ratio, the problem of optimal selection of reaction rate parameters is stated, based on minimization of the mean square deviation of model values of burning velocity on experimental ones. The aim of our study is analysis of uniqueness of this problem solution. To this end, we apply computational experiment during which the problem of global search of optima is solved using multistart of gradient descent. The computational experiment clarifies that the inverse problem in this statement is underdetermined, and every time, when running gradient descent from a selected starting point, it converges to a new limit point. The structure of the set of limit points in the five-dimensional space is analyzed, and it is shown that this set can be described with three linear equations. Therefore, it might be incorrect to tabulate all five parameters of reaction rate based on just one match criterion between model and experimental data of flame propagation velocity. The conclusion of our study is that in order to tabulate reaction rate parameters correctly, it is necessary to specify the values of two of them, based on additional optimality criteria.

  3. Дегтярев А.А., Бахурин С.А.
    Компенсация собственных нелинейных помех на основе смешанного метода Ньютона
    Компьютерные исследования и моделирование, 2024, т. 16, № 7, с. 1579-1592

    В статье исследуется одно из возможных решений задачи компенсации собственных помех (SIC, Self-Interference Cancellation), возникающей при проектировании полнодуплексных (IBFD, In-band Full-Duplex) систем связи. Подавление собственных помех осуществляется в цифровой области с помощью многослойных нелинейных моделей, которые адаптируются на основе метода градиентного спуска. Наличие локальных оптимумов и седловых точек при адаптации многослойных моделей делает невозможным использование методов второго порядка ввиду знаконеопределенности матрицы Гессе.

    В данной работе предложено использовать смешанный метод Ньютона (MNM, mixed Newton method), который учитывает информацию о смешанных производных второго порядка функции потерь и, как следствие, обеспечивает высокую скорость сходимости по сравнению с традиционными методами первого порядка. Использование лишь только смешанных частных производных второго порядка при построении матрицы Гессе позволяет избежать проблемы «застревания» в седловых точках при использовании смешанного метода Ньютона для адаптации многослойных нелинейных компенсаторов собственных помех при проектировании полнодуплексных систем связи.

    В качестве модели собственных нелинейных помех выбрана модель Гаммерштейна с комплексными параметрами. Данный выбор обусловлен тем, что модель эффективно описывает физические свойства, лежащие в основе формирования собственных помех. Благодаря свойству голоморфности выхода модели смешанный метод Ньютона обеспечивает свойство «отталкивания» от седловых точек в ландшафте функции потерь.

    В работе приводятся кривые сходимости при адаптации модели Гаммерштейна смешанным методом Ньютона, а также при помощи классических подходов на основе метода градиентного спуска. Кроме того, приводится вывод предложенного метода, а также оценка вычислительной сложности.

    Degtyarev A.A., Bakhurin S.A.
    Non-linear self-interference cancellation on base of mixed Newton method
    Computer Research and Modeling, 2024, v. 16, no. 7, pp. 1579-1592

    The paper investigates a potential solution to the problem of Self-Interference Cancellation (SIC) encountered in the design of In-Band Full-Duplex (IBFD) communication systems. The suppression of selfinterference is implemented in the digital domain using multilayer nonlinear models adapted via the gradient descent method. The presence of local optima and saddle points in the adaptation of multilayer models prevents the use of second-order methods due to the indefinite nature of the Hessian matrix.

    This work proposes the use of the Mixed Newton Method (MNM), which incorporates information about the second-order mixed partial derivatives of the loss function, thereby enabling a faster convergence rate compared to traditional first-order methods. By constructing the Hessian matrix solely with mixed second-order partial derivatives, this approach mitigates the issue of “getting stuck” at saddle points when applying the Mixed Newton Method for adapting multilayer nonlinear self-interference compensators in full-duplex system design.

    The Hammerstein model with complex parameters has been selected to represent nonlinear selfinterference. This choice is motivated by the model’s ability to accurately describe the underlying physical properties of self-interference formation. Due to the holomorphic property of the model output, the Mixed Newton Method provides a “repulsion” effect from saddle points in the loss landscape.

    The paper presents convergence curves for the adaptation of the Hammerstein model using both the Mixed Newton Method and conventional gradient descent-based approaches. Additionally, it provides a derivation of the proposed method along with an assessment of its computational complexity.

  4. Конюхов А.В., Ростилов Т.А.
    Численное моделирование сходящихся сферических ударных волн с нарушенной симметрией
    Компьютерные исследования и моделирование, 2025, т. 17, № 1, с. 59-71

    На основе гидродинамического 3D-моделирования с использованием уравнения состояния газа твердых сфер Карнахана – Старлинга выполнено исследование развития периодических возмущений сходящейся сферической ударной волны, приводящих к ограничению кумуляции. Метод решения системы уравнений Эйлера на подвижных (сжимающихся) сетках позволяет с высокой точностью проследить эволюцию фронта сходящейся ударной волны в широком диапазоне изменения ее радиуса. Скорость сжатия расчетной сетки адаптируется к движению фронта ударной волны, при этом движение границ расчетной области выбирается из условия сверхзвуковой скорости ее движения относительно среды. Это приводит к тому, что решение на этапе сжатия определяется только начальными данными. Применена схема TVD второго порядка аппроксимации для реконструкции вектора консервативных переменных на границах расчетных ячеек в сочетании со схемой Русанова для расчета численного вектора потоков. Выбор обусловлен сильной тенденцией к проявлению в расчетах численной неустойчивости типа «карбункул», известной для других классов течений. Использование сжимающихся сеток позволило исследовать детальную картину течения на масштабе прекращения кумуляции, что невозможно в рамках метода геометрической динамики ударных волн Уизема (Whitham), применявшегося ранее другими авторами для расчета сходящихся ударных волн. Исследование показало, что ограничение кумуляции связанно с переходом от маховского взаимодействия сегментов сходящейся ударной волны к регулярному вследствие прогрессирующего роста отношения азимутальной скорости на фронте ударной волны к радиальной при уменьшении ее радиуса. Установлено, что это отношение представляется в виде произведения ограниченной осциллирующей функции радиуса и степенной функции радиуса с показателем степени, зависящим от начальной плотности упаковки в модели твердых сфер. Показано, что увеличение параметра плотности упаковки в модели твердых сфер приводит к значительному увеличению давлений, достигаемых в ударной волне с нарушенной симметрией. Впервые в расчете показано, что на масштабе прекращения кумуляции течение сопровождается формированием высокоэнергетичных вихрей, в которые вовлечено вещество, подвергшееся наибольшему ударно-волновому сжатию. Оказывая влияние на процессы тепло- и массопереноса в области наибольшего сжатия, это обстоятельство является важным для актуальных практических применений сходящихся ударных волн в целях инициирования реакций (детонации, фазовых переходов, управляемого термоядерного синтеза).

    Konyukhov A.V., Rostilov T.A.
    Numerical simulation of converging spherical shock waves with symmetry violation
    Computer Research and Modeling, 2025, v. 17, no. 1, pp. 59-71

    The study of the development of π-periodic perturbations of a converging spherical shock wave leading to cumulation limitation is performed. The study is based on 3D hydrodynamic calculations with the Carnahan – Starling equation of state for hard sphere fluid. The method of solving the Euler equations on moving (compressing) grids allows one to trace the evolution of the converging shock wave front with high accuracy in a wide range of its radius. The compression rate of the computational grid is adapted to the motion of the shock wave front, while the motion of the boundaries of the computational domain satisfy the condition of its supersonic velocity relative to the medium. This leads to the fact that the solution is determined only by the initial data at the grid compression stage. The second order TVD scheme is used to reconstruct the vector of conservative variables at the boundaries of the computational cells in combination with the Rusanov scheme for calculating the numerical vector of flows. The choice is due to a strong tendency for the manifestation of carbuncle-type numerical instability in the calculations, which is known for other classes of flows. In the three-dimensional case of the observed force, the carbuncle effect was obtained for the first time, which is explained by the specific nature of the flow: the concavity of the shock wave front in the direction of motion, the unlimited (in the symmetric case) growth of the Mach number, and the stationarity of the front on the computational grid. The applied numerical method made it possible to study the detailed flow pattern on the scale of cumulation termination, which is impossible within the framework of the Whitham method of geometric shock wave dynamics, which was previously used to calculate converging shock waves. The study showed that the limitation of cumulation is associated with the transition from the Mach interaction of converging shock wave segments to a regular one due to the progressive increase in the ratio of the azimuthal velocity at the shock wave front to the radial velocity with a decrease in its radius. It was found that this ratio is represented as a product of a limited oscillating function of the radius and a power function of the radius with an exponent depending on the initial packing density in the hard sphere model. It is shown that increasing the packing density parameter in the hard sphere model leads to a significant increase in the pressures achieved in a shock wave with broken symmetry. For the first time in the calculation, it is shown that at the scale of cumulation termination, the flow is accompanied by the formation of high-energy vortices, which involve the substance that has undergone the greatest shock-wave compression. Influencing heat and mass transfer in the region of greatest compression, this circumstance is important for current practical applications of converging shock waves for the purpose of initiating reactions (detonation, phase transitions, controlled thermonuclear fusion).

  5. Садин Д.В.
    Приложение гибридного метода крупных частиц к расчету взаимодействия ударной волны со слоем газовзвеси
    Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1323-1338

    Для модельного неоднородного уравнения переноса с источником выполнен анализ устойчивости линейной гибридной схемы (комбинации противопоточной и центральной аппроксимаций). Получены условия устойчивости, зависящие от параметра гибридности, фактора интенсивности источника (произведения интенсивности на шаг по времени) и весового коэффициента линейной комбинации мощности источника на нижнем и верхнем временном слое. В нелинейном случае для уравнений движения неравновесной по скоростям и температурам газовзвеси расчетным путем подтвержден линейный анализ устойчивости. Установлено, что предельно допустимое число Куранта гибридного метода крупных частиц второго порядка точности по пространству и времени при неявном учете трения и теплообмена между газом и частицами не зависит от фактора интенсивности межфазных взаимодействий, шага расчетной сетки и времен релаксации фаз (K-устойчивость). В традиционном случае явного способа расчета источниковых членов для значений безразмерного фактора интенсивности больше 10 наблюдается катастрофическое (на несколько порядков) снижение предельно допустимого числа Куранта, при котором расчетный шаг по времени становится неприемлемо малым.

    На основе базовых соотношений распада разрыва в равновесной гетерогенной среде получено асимптотически точное автомодельное решение задачи взаимодействия ударной волны со слоем газовзвеси, к которому сходится численное решение двухскоростной двухтемпературной динамики газовзвеси при уменьшении размеровди сперсных частиц.

    Изучены динамика движения скачка уплотнения в газе и его взаимодействия с ограниченным слоем газовзвеси для различных размеров дисперсных частиц: 0.1, 2 и 20 мкм. Задача характеризуется двумя распадами разрывов: отраженной и преломленной ударными волнами на левой границе слоя, отраженной волной разрежения и прошедшим скачком уплотнения на правой контактной границе. Обсуждено влияние релаксационных процессов (безразмерных времен релаксации фаз) на характер течения газовзвеси. Для мелких частиц времена выравнивания скоростей и температур фаз малы, а зоны релаксации являются подсеточными. Численное решение в характерных точках с относительной точностью $O\, (10^{−4})$  сходится к автомодельным решениям.

    For a non-homogeneous model transport equation with source terms, the stability analysis of a linear hybrid scheme (a combination of upwind and central approximations) is performed. Stability conditions are obtained that depend on the hybridity parameter, the source intensity factor (the product of intensity per time step), and the weight coefficient of the linear combination of source power on the lower- and upper-time layer. In a nonlinear case for the non-equilibrium by velocities and temperatures equations of gas suspension motion, the linear stability analysis was confirmed by calculation. It is established that the maximum permissible Courant number of the hybrid large-particle method of the second order of accuracy in space and time with an implicit account of friction and heat exchange between gas and particles does not depend on the intensity factor of interface interactions, the grid spacing and the relaxation times of phases (K-stability). In the traditional case of an explicit method for calculating the source terms, when a dimensionless intensity factor greater than 10, there is a catastrophic (by several orders of magnitude) decrease in the maximum permissible Courant number, in which the calculated time step becomes unacceptably small.

    On the basic ratios of Riemann’s problem in the equilibrium heterogeneous medium, we obtained an asymptotically exact self-similar solution of the problem of interaction of a shock wave with a layer of gas-suspension to which converge the numerical solution of two-velocity two-temperature dynamics of gassuspension when reducing the size of dispersed particles.

    The dynamics of the shock wave in gas and its interaction with a limited gas suspension layer for different sizes of dispersed particles: 0.1, 2, and 20 ìm were studied. The problem is characterized by two discontinuities decay: reflected and refracted shock waves at the left boundary of the layer, reflected rarefaction wave, and a past shock wave at the right contact edge. The influence of relaxation processes (dimensionless phase relaxation times) to the flow of a gas suspension is discussed. For small particles, the times of equalization of the velocities and temperatures of the phases are small, and the relaxation zones are sub-grid. The numerical solution at characteristic points converges with relative accuracy $O \, (10^{-4})$ to self-similar solutions.

  6. Котлярова Е.В., Гасников А.В., Гасникова Е.В., Ярмошик Д.В.
    Поиск равновесий в двухстадийных моделях распределения транспортных потоков по сети
    Компьютерные исследования и моделирование, 2021, т. 13, № 2, с. 365-379

    В работе описывается двухстадийная модель равновесного распределения транспортных потоков. Модель состоит из двух блоков, где первый блок — модель расчета матрицы корреспонденций, а второй блок — модель равновесного распределения транспортных потоков по путям. Первая модель, используя матрицу транспортных затрат (затраты на перемещение из одного района в другой, в данном случае — время), рассчитывает матрицу корреспонденций, описывающую потребности в объемах передвижения из одного района в другой район. Для решения этой задачи предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийную модель. Вторая модель на базе равновесного принципа Нэша–Вардропа (каждый водитель выбирает кратчайший для себя путь) описывает, как именно потребности в перемещениях, задаваемые матрицей корреспонденций, распределяются по возможным путям. Таким образом, зная способы распределения потоков по путям, можно рассчитать матрицу затрат. Равновесием в двухстадийной модели транспортных потоков называют неподвижную точку цепочки из этих двух моделей. Практически ранее отмеченную задачу поиска неподвижной точки решали методом простых итераций. К сожалению, на данный момент вопрос сходимости и оценки скорости сходимости для этого метода не изучен. Кроме того, при численной реализации алгоритма возникает множество проблем. В частности, при неудачном выборе точки старта возникают ситуации, в которых алгоритм требует вычисления экстремально больших чисел и превышает размер доступной памяти даже в самых современных вычислительных машинах. Поэтому в статье предложены способ сведения задачи поиска описанного равновесия к задаче выпуклой негладкой оптимизации и численный способ решения полученной задачи оптимизации. Для обоих методов решения задачи были проведены численные эксперименты. Авторами использовались данные для Владивостока (для этого была обработана информация из различных источников и собрана в новый пакет) и двух небольших городов США. Методом простой прогонки двух блоков сходимости добиться не удалось, тогда как вторая модель для того же набора данных продемонстрировала скорость сходимости $k^{−1.67}$.

    Kotliarova E.V., Gasnikov A.V., Gasnikova E.V., Yarmoshik D.V.
    Finding equilibrium in two-stage traffic assignment model
    Computer Research and Modeling, 2021, v. 13, no. 2, pp. 365-379

    Authors describe a two-stage traffic assignment model. It contains of two blocks. The first block consists of a model for calculating a correspondence (demand) matrix, whereas the second block is a traffic assignment model. The first model calculates a matrix of correspondences using a matrix of transport costs (it characterizes the required volumes of movement from one area to another, it is time in this case). To solve this problem, authors propose to use one of the most popular methods of calculating the correspondence matrix in urban studies — the entropy model. The second model describes exactly how the needs for displacement specified by the correspondence matrix are distributed along the possible paths. Knowing the ways of the flows distribution along the paths, it is possible to calculate the cost matrix. Equilibrium in a two-stage model is a fixed point in the sequence of these two models. In practice the problem of finding a fixed point can be solved by the fixed-point iteration method. Unfortunately, at the moment the issue of convergence and estimations of the convergence rate for this method has not been studied quite thoroughly. In addition, the numerical implementation of the algorithm results in many problems. In particular, if the starting point is incorrect, situations may arise where the algorithm requires extremely large numbers to be computed and exceeds the available memory even on the most modern computers. Therefore the article proposes a method for reducing the problem of finding the equilibrium to the problem of the convex non-smooth optimization. Also a numerical method for solving the obtained optimization problem is proposed. Numerical experiments were carried out for both methods of solving the problem. The authors used data for Vladivostok (for this city information from various sources was processed and collected in a new dataset) and two smaller cities in the USA. It was not possible to achieve convergence by the method of fixed-point iteration, whereas the second model for the same dataset demonstrated convergence rate $k^{-1.67}$.

  7. Данилова М.Ю., Малиновский Г.С.
    Метод тяжелого шарика с усреднением
    Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 277-308

    Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.

    Danilova M.Y., Malinovskiy G.S.
    Averaged heavy-ball method
    Computer Research and Modeling, 2022, v. 14, no. 2, pp. 277-308

    First-order optimization methods are workhorses in a wide range of modern applications in economics, physics, biology, machine learning, control, and other fields. Among other first-order methods accelerated and momentum ones obtain special attention because of their practical efficiency. The heavy-ball method (HB) is one of the first momentum methods. The method was proposed in 1964 and the first analysis was conducted for quadratic strongly convex functions. Since then a number of variations of HB have been proposed and analyzed. In particular, HB is known for its simplicity in implementation and its performance on nonconvex problems. However, as other momentum methods, it has nonmonotone behavior, and for optimal parameters, the method suffers from the so-called peak effect. To address this issue, in this paper, we consider an averaged version of the heavy-ball method (AHB). We show that for quadratic problems AHB has a smaller maximal deviation from the solution than HB. Moreover, for general convex and strongly convex functions, we prove non-accelerated rates of global convergence of AHB, its weighted version WAHB, and for AHB with restarts R-AHB. To the best of our knowledge, such guarantees for HB with averaging were not explicitly proven for strongly convex problems in the existing works. Finally, we conduct several numerical experiments on minimizing quadratic and nonquadratic functions to demonstrate the advantages of using averaging for HB. Moreover, we also tested one more modification of AHB called the tail-averaged heavy-ball method (TAHB). In the experiments, we observed that HB with a properly adjusted averaging scheme converges faster than HB without averaging and has smaller oscillations.

  8. Предложен алгоритм идентификации параметров плоской вихревой структуры по информации о скорости теченияв конечном (малом) наборе опорных точек. Алгоритм основан на использовании модельной системы точечных вихрей и минимизации в пространстве ее параметров целевого функционала, оценивающего близость модельного и известного наборов векторов скорости. Для численной реализации используются модифицированный метод градиентного спуска с управлением шагом, аппроксимации производных конечными разностями, аналитическое выражение для поля скорости, индуцируемое модельной системой. Проведен численный экспериментальный анализ работы алгоритма на тестовых течениях: одного и системы нескольких точечных вихрей, вихря Рэнкина и диполя Ламба. Используемые дляид ентификации векторы скорости задавались в случайно распределенных наборах опорных точек (от 3 до 200) согласно известным аналитическим выражениям для тестовых полей скорости. В результате вычислений показано: алгоритм сходится к искомому минимуму из широкой области начальных приближений; алгоритм сходится во всех случаях когда опорные точки лежат в областях, где линии тока тестовой и модельной систем топологически эквивалентны; если системы топологически не эквивалентны, то доля удачных расчетов снижается, но сходимость алгоритма также может иметь место; координаты найденных в результате сходимости алгоритма вихрей модельной системы близки к центрам вихрей тестовых конфигураций, а во многих случаях и значения их интенсивностей; сходимость алгоритма в большей степени зависит от расположения, чем от количества используемых при идентификации векторов. Результаты исследования позволяют рекомендовать предложенный алгоритм для анализа плоских вихревых структур, у которых линии тока топологически близки траекториям частиц в поле скорости систем точечных вихрей.

    An algorithm is proposed to identify parameters of a 2D vortex structure used on information about the flow velocity at a finite (small) set of reference points. The approach is based on using a set of point vortices as a model system and minimizing a functional that compares the model and known sets of velocity vectors in the space of model parameters. For numerical implementation, the method of gradient descent with step size control, approximation of derivatives by finite differences, and the analytical expression of the velocity field induced by the point vortex model are used. An experimental analysis of the operation of the algorithm on test flows is carried out: one and a system of several point vortices, a Rankine vortex, and a Lamb dipole. According to the velocity fields of test flows, the velocity vectors utilized for identification were arranged in a randomly distributed set of reference points (from 3 to 200 pieces). Using the computations, it was determined that: the algorithm converges to the minimum from a wide range of initial approximations; the algorithm converges in all cases when the reference points are located in areas where the streamlines of the test and model systems are topologically equivalent; if the streamlines of the systems are not topologically equivalent, then the percentage of successful calculations decreases, but convergence can also take place; when the method converges, the coordinates of the vortices of the model system are close to the centers of the vortices of the test configurations, and in many cases, the values of their circulations also; con-vergence depends more on location than on the number of vectors used for identification. The results of the study allow us to recommend the proposed algorithm for identifying 2D vortex structures whose streamlines are topologically close to systems of point vortices.

  9. Литвинов В.Н., Чистяков А.Е., Никитина А.В., Атаян А.М., Кузнецова И.Ю.
    Математическое моделирование гидродинамических процессов Азовского моря на многопроцессорной вычислительной системе
    Компьютерные исследования и моделирование, 2024, т. 16, № 3, с. 647-672

    Статья посвящена моделированию гидродинамических процессов мелководных водоемов на примере Азовского моря. В статье приведена математическая модель гидродинамики мелководного водоема, позволяющая вычислить трехмерные поля вектора скорости движения водной среды. Применение регуляризаторов по Б.Н. Четверушкину в уравнении неразрывности привело к изменению способа расчета поля давления, базирующегося на решении волнового уравнения. Построена дискретная конечно-разностная схема для расчета давления в области, линейные размеры которой по вертикали существенно меньше размеров по горизонтальным координатным направлениям, что является характерным для геометрии мелководных водоемов. Описаны метод и алгоритм решения сеточных уравнений с предобуславливателем трехдиагонального вида. Предложенный метод применен для решения сеточных уравнений, возникающих при расчете давления для трехмерной задачи гидродинамики Азовского моря. Показано, что предложенный метод сходится быстрее модифицированного попеременно-треугольного метода. Представлена параллельная реализация предложенного метода решения сеточных уравнений и проведены теоретические и практические оценки ускорения алгоритма с учетом времени латентности вычислительной системы. Приведены результаты вычислительных экспериментов для решения задач гидродинамики Азовского моря с использованием гибридной технологии MPI + OpenMP. Разработанные модели и алгоритмы применялись для реконструкции произошедшей в 2001 году в Азовском море экологической катастрофы и решения задачи движения водной среды в устьевых районах. Численные эксперименты проводились на гибридном вычислительном кластере К-60 ИПМ им. М.В. Келдыша РАН.

    Litvinov V.N., Chistyakov A.E., Nikitina A.V., Atayan A.M., Kuznetsova I.Y.
    Mathematical modeling of hydrodynamics problems of the Azov Sea on a multiprocessor computer system
    Computer Research and Modeling, 2024, v. 16, no. 3, pp. 647-672

    The article is devoted to modeling the shallow water hydrodynamic processes using the example of the Azov Sea. The article presents a mathematical model of the hydrodynamics of a shallow water body, which allows one to calculate three-dimensional fields of the velocity vector of movement of the aquatic environment. Application of regularizers according to B.N.Chetverushkin in the continuity equation led to a change in the method of calculating the pressure field, based on solving the wave equation. A discrete finite-difference scheme has been constructed for calculating pressure in an area whose linear vertical dimensions are significantly smaller than those in horizontal coordinate directions, which is typical for the geometry of shallow water bodies. The method and algorithm for solving grid equations with a tridiagonal preconditioner are described. The proposed method is used to solve grid equations that arise when calculating pressure for the three-dimensional problem of hydrodynamics of the Azov Sea. It is shown that the proposed method converges faster than the modified alternating triangular method. A parallel implementation of the proposed method for solving grid equations is presented and theoretical and practical estimates of the acceleration of the algorithm are carried out taking into account the latency time of the computing system. The results of computational experiments for solving problems of hydrodynamics of the Sea of Azov using the hybrid MPI + OpenMP technology are presented. The developed models and algorithms were used to reconstruct the environmental disaster that occurred in the Sea of Azov in 2001 and to solve the problem of the movement of the aquatic environment in estuary areas. Numerical experiments were carried out on the K-60 hybrid computing cluster of the Keldysh Institute of Applied Mathematics of Russian Academy of Sciences.

  10. Батгэрэл Б., Земляная Е.В., Пузынин И.В.
    Программа NINE: численное решение граничных задач для нелинейных дифференциальных уравнений методом НАМН
    Компьютерные исследования и моделирование, 2012, т. 4, № 2, с. 315-324

    Представлена программа NINE (Newtonian Iteration for Nonlinear Equation) численного решения граничных задач для нелинейных дифференциальных уравнений второго порядка на основе непрерывного аналога метода Ньютона (НАМН) с использованием нумеровской конечно-разностной аппроксимации четвертого порядка относительно шага дискретизации по пространственной переменной. Обсуждаются алгоритмы вычисления ньютоновского итерационного параметра. Выполнены методические расчеты, демонстрирующие влияние выбора итерационного параметра на сходимость итерационного процесса. Представлены результаты проведенного с помощью программы NINE численного исследования положительных частицеподобных решений уравнения скалярного поля.

    Batgerel B., Zemlyanay E.V., Puzynin I.V.
    NINE: computer code for numerical solution of the boundary problems for nonlinear differential equations on the basis of CANM
    Computer Research and Modeling, 2012, v. 4, no. 2, pp. 315-324

    The computer code NINE (Newtonian Iteration for Nonlinear Equation) for numerical solution of the boundary problems for nonlinear differential equations on the basis of continuous analogue of the Newton method (CANM) is presented. Numerov’s finite-difference appproximation is applied to provide the fourth accuracy order with respect to the discretization stepsize. Algorithms of calculating the Newtonian iterative parameter are discussed. A convergence of iteration process in dependence on choice of the iteration parameter has been studied. Results of numerical investigation of the particle-like solutions of the scalar field equation are given.

    Просмотров за год: 1. Цитирований: 1 (РИНЦ).
Страницы: « первая предыдущая следующая последняя »

Журнал индексируется в Scopus

Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU

Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science

Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"

Международная Междисциплинарная Конференция МАТЕМАТИКА. КОМПЬЮТЕР. ОБРАЗОВАНИЕ.