Текущий выпуск Номер 2, 2025 Том 17

Все выпуски

Результаты поиска по 'first term':
Найдено статей: 37
  1. Аксёнов А.А., Каширин В.С., Тимушев С.Ф., Шапоренко Е.В.
    Развитие метода акустико-вихревой декомпозиции для моделирования шума автомобильных шин
    Компьютерные исследования и моделирование, 2023, т. 15, № 4, с. 979-993

    Дорожный шум является одной из ключевых проблем в обеспечении поддержания высоких стандартов охраны окружающей среды. В диапазоне скоростей от 50 до 120 км/ч шины являются основным источником шума, создаваемого движущимся автомобилем. Хорошо известно, что шум и вибрация шин генерируются либо взаимодействием протектора шины и дорожного покрытия, либо некоторыми внутренними динамическими эффектами. В данной статье рассматривается применение нового метода моделирования генерации и распространения звука при движении автомобильной шины, основанного на применении так называемой акустико-вихревой декомпозиции. Используемые в настоящее время подходы к моделированию шума автомобильных шин основаны главным образом на применении уравнения Лайтхила и аэроакустической аналогии. Аэроакустическая аналогия не является математически строгой формулировкой для вывода источника (правой части) акустического волнового уравнения при решении задачи — разделения акустической и вихревой (псевдозвуковой) мод колебаний. При разработке метода акустико-вихревой декомпозиции проводится математически строгое преобразование уравнений движения сжимаемой среды для получения неоднородного волнового уравнения относительно пульсаций статической энтальпии с источниковым членом, который зависит от поля скоростей вихревой моды. При этом колебания давления в ближнем поле представляют собой сумму акустических колебаний и псевдозвука. Таким образом, метод акустико-вихревой декомпозиции позволяет адекватно моделировать и акустическое поле, и динамические нагрузки, генерирующие вибрацию шины, обеспечивая полное решение проблемы моделирования шума шин, который является результатом ее турбулентного обтекания с генерацией вихревого звука, а также динамического нагружения и излучения шума вследствие вибрации шины. Метод впервые реализован и тестируется в программном пакете FlowVision. Приводится сравнение результатов FlowVision с расчетами, полученными с помощью пакета LMS Virtual.Lab Acoustics, и объясняется некоторое различие в спектрах акустического поля.

    Aksenov A.A., Kashirin V.S., Timushev S.F., Shaporenko E.V.
    Development of acoustic-vortex decomposition method for car tyre noise modelling
    Computer Research and Modeling, 2023, v. 15, no. 4, pp. 979-993

    Road noise is one of the key issues in maintaining high environmental standards. At speeds between 50 and 120 km/h, tires are the main source of noise generated by a moving vehicle. It is well known that either the interaction between the tire tread and the road surface or some internal dynamic effects are responsible for tire noise and vibration. This paper discusses the application of a new method for modelling the generation and propagation of sound during tire motion, based on the application of the so-called acoustic-vortex decomposition. Currently, the application of the Lighthill equation and the aeroacoustics analogy are the main approaches used to model tire noise. The aeroacoustics analogy, in solving the problem of separating acoustic and vortex (pseudo-sound) modes of vibration, is not a mathematically rigorous formulation for deriving the source (righthand side) of the acoustic wave equation. In the development of the acoustic-vortex decomposition method, a mathematically rigorous transformation of the equations of motion of a compressible medium is performed to obtain an inhomogeneous wave equation with respect to static enthalpy pulsations with a source term that de-pends on the velocity field of the vortex mode. In this case, the near-field pressure fluctuations are the sum of acoustic fluctuations and pseudo-sound. Thus, the acoustic-vortex decomposition method allows to adequately modeling the acoustic field and the dynamic loads that generate tire vibration, providing a complete solution to the problem of modelling tire noise, which is the result of its turbulent flow with the generation of vortex sound, as well as the dynamic loads and noise emission due to tire vibration. The method is first implemented and test-ed in the FlowVision software package. The results obtained with FlowVision are compared with those obtained with the LMS Virtual.Lab Acoustics package and a number of differences in the acoustic field are highlighted.

  2. Стонякин Ф.С., Савчyк О.С., Баран И.В., Алкуса М.С., Титов А.А.
    Аналоги условия относительной сильной выпуклости для относительно гладких задач и адаптивные методы градиентного типа
    Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 413-432

    Данная статья посвящена повышению скоростных гарантий численных методов градиентного типа для относительно гладких и относительно липшицевых задач минимизации в случае дополнительных предположений о некоторых аналогах сильной выпуклости целевой функции. Рассматриваются два класса задач: выпуклые задачи с условием относительного функционального роста, а также задачи (вообще говоря, невыпуклые) с аналогом условия градиентного доминирования Поляка – Лоясиевича относительно дивергенции Брэгмана. Для первого типа задач мы предлагаем две схемы рестартов методов градиентного типа и обосновываем теоретические оценки сходимости двух алгоритмов с адаптивно подбираемыми параметрами, соответствующими относительной гладкости или липшицевости целевой функции. Первый из этих алгоритмов проще в части критерия выхода из итерации, но для него близкие к оптимальным вычислительные гарантии обоснованы только на классе относительно липшицевых задач. Процедура рестартов другого алгоритма, в свою очередь, позволила получить более универсальные теоретические результаты. Доказана близкая к оптимальной оценка сложности на классе выпуклых относительно липшицевых задач с условием функционального роста, а для класса относительно гладких задач с условием функционального роста получены гарантии линейной скорости сходимости. На классе задач с предложенным аналогом условия градиентного доминирования относительно дивергенции Брэгмана были получены оценки качества выдаваемого решения с использованием адаптивно подбираемых параметров. Также мы приводим результаты некоторых вычислительных экспериментов, иллюстрирующих работу методов для второго исследуемого в настоящей статье подхода. В качестве примеров мы рассмотрели линейную обратную задачу Пуассона (минимизация дивергенции Кульбака – Лейблера), ее регуляризованный вариант, позволяющий гарантировать относительную сильную выпуклость целевой функции, а также некоторый пример относительно гладкой и относительно сильно выпуклой задачи. В частности, с помощью расчетов показано, что относительно сильно выпуклая функция может не удовлетворять введенному относительному варианту условия градиентного доминирования.

    Stonyakin F.S., Savchuk O.S., Baran I.V., Alkousa M.S., Titov A.A.
    Analogues of the relative strong convexity condition for relatively smooth problems and adaptive gradient-type methods
    Computer Research and Modeling, 2023, v. 15, no. 2, pp. 413-432

    This paper is devoted to some variants of improving the convergence rate guarantees of the gradient-type algorithms for relatively smooth and relatively Lipschitz-continuous problems in the case of additional information about some analogues of the strong convexity of the objective function. We consider two classes of problems, namely, convex problems with a relative functional growth condition, and problems (generally, non-convex) with an analogue of the Polyak – Lojasiewicz gradient dominance condition with respect to Bregman divergence. For the first type of problems, we propose two restart schemes for the gradient type methods and justify theoretical estimates of the convergence of two algorithms with adaptively chosen parameters corresponding to the relative smoothness or Lipschitz property of the objective function. The first of these algorithms is simpler in terms of the stopping criterion from the iteration, but for this algorithm, the near-optimal computational guarantees are justified only on the class of relatively Lipschitz-continuous problems. The restart procedure of another algorithm, in its turn, allowed us to obtain more universal theoretical results. We proved a near-optimal estimate of the complexity on the class of convex relatively Lipschitz continuous problems with a functional growth condition. We also obtained linear convergence rate guarantees on the class of relatively smooth problems with a functional growth condition. For a class of problems with an analogue of the gradient dominance condition with respect to the Bregman divergence, estimates of the quality of the output solution were obtained using adaptively selected parameters. We also present the results of some computational experiments illustrating the performance of the methods for the second approach at the conclusion of the paper. As examples, we considered a linear inverse Poisson problem (minimizing the Kullback – Leibler divergence), its regularized version which allows guaranteeing a relative strong convexity of the objective function, as well as an example of a relatively smooth and relatively strongly convex problem. In particular, calculations show that a relatively strongly convex function may not satisfy the relative variant of the gradient dominance condition.

  3. Плетнев Н.В., Двуреченский П.Е., Гасников А.В.
    Применение градиентных методов оптимизации для решения задачи Коши для уравнения Гельмгольца
    Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 417-444

    Статья посвящена изучению применения методов выпуклой оптимизации для решения задачи Коши для уравнения Гельмгольца, которая является некорректной, поскольку уравнение относится к эллиптическому типу. Задача Коши формулируется как обратная задача и сводится к задаче выпуклой оптимизации в гильбертовом пространстве. Оптимизируемый функционал и его градиент вычисляются с помощью решения краевых задач, которые, в свою очередь, корректны и могут быть приближенно решены стандартными численными методами, такими как конечно-разностные схемы и разложения в ряды Фурье. Экспериментально исследуются сходимость применяемого быстрого градиентного метода и качество получаемого таким образом решения. Эксперимент показывает, что ускоренный градиентный метод — метод подобных треугольников — сходится быстрее, чем неускоренный метод. Сформулированы и доказаны теоремы о вычислительной сложности полученных алгоритмов. Установлено, что разложения в ряды Фурье превосходят конечно-разностные схемы по скорости вычислений и улучшают качество получаемого решения. Сделана попытка использовать рестарты метода подобных треугольников после уменьшения невязки функционала вдвое. В этом случае сходимость не улучшается, что подтверждает отсутствие сильной выпуклости. Эксперименты показывают, что неточность вычислений более адекватно описывается аддитивной концепцией шума в оракуле первого порядка. Этот фактор ограничивает достижимое качество решения, но ошибка не накапливается. Полученные результаты показывают, что использование ускоренных градиентных методов оптимизации позволяет эффективно решать обратные задачи.

    Pletnev N.V., Dvurechensky P.E., Gasnikov A.V.
    Application of gradient optimization methods to solve the Cauchy problem for the Helmholtz equation
    Computer Research and Modeling, 2022, v. 14, no. 2, pp. 417-444

    The article is devoted to studying the application of convex optimization methods to solve the Cauchy problem for the Helmholtz equation, which is ill-posed since the equation belongs to the elliptic type. The Cauchy problem is formulated as an inverse problem and is reduced to a convex optimization problem in a Hilbert space. The functional to be optimized and its gradient are calculated using the solution of boundary value problems, which, in turn, are well-posed and can be approximately solved by standard numerical methods, such as finite-difference schemes and Fourier series expansions. The convergence of the applied fast gradient method and the quality of the solution obtained in this way are experimentally investigated. The experiment shows that the accelerated gradient method — the Similar Triangle Method — converges faster than the non-accelerated method. Theorems on the computational complexity of the resulting algorithms are formulated and proved. It is found that Fourier’s series expansions are better than finite-difference schemes in terms of the speed of calculations and improve the quality of the solution obtained. An attempt was made to use restarts of the Similar Triangle Method after halving the residual of the functional. In this case, the convergence does not improve, which confirms the absence of strong convexity. The experiments show that the inaccuracy of the calculations is more adequately described by the additive concept of the noise in the first-order oracle. This factor limits the achievable quality of the solution, but the error does not accumulate. According to the results obtained, the use of accelerated gradient optimization methods can be the way to solve inverse problems effectively.

  4. Томинин Я.Д., Томинин В.Д., Бородич Е.Д., Ковалев Д.А., Двуреченский П.Е., Гасников А.В., Чуканов С.В.
    Об ускоренных методах для седловых задач с композитной структурой
    Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 433-467

    В данной работе рассматриваются сильно-выпукло сильно-вогнутые не билинейные седловые задачи с разными числами обусловленности по прямым и двойственным переменным. Во-первых, мы рассматриваем задачи с гладкими композитами, один из которых имеет структуру с конечной суммой. Для этой задачи мы предлагаем алгоритм уменьшения дисперсии с оценками сложности, превосходящими существующие ограничения в литературе. Во-вторых, мы рассматриваем седловые задачи конечной суммы с композитами и предлагаем несколько алгоритмов в зависимости от свойств составных членов. Когда составные члены являются гладкими, мы получаем лучшие оценки сложности, чем в литературе, включая оценки недавно предложенных почти оптимальных алгоритмов, которые не учитывают составную структуру задачи. Кроме того, наши алгоритмы позволяют разделить сложность, т. е. оценить для каждой функции в задаче количество вызовов оракула, достаточное для достижения заданной точности. Это важно, так как разные функции могут иметь разную арифметическую сложность оракула, а дорогие оракулы желательно вызывать реже, чем дешевые. Ключевым моментом во всех этих результатах является наша общая схема для седловых задач, которая может представлять самостоятельный интерес. Эта структура, в свою очередь, основана на предложенном нами ускоренном мета-алгоритме для композитной оптимизации с вероятностными неточными оракулами и вероятностной неточностью в проксимальном отображении, которые также могут представлять самостоятельный интерес.

    Tomonin Y.D., Tominin V.D., Borodich E.D., Kovalev D.A., Dvurechensky P.E., Gasnikov A.V., Chukanov S.V.
    On Accelerated Methods for Saddle-Point Problems with Composite Structure
    Computer Research and Modeling, 2023, v. 15, no. 2, pp. 433-467

    We consider strongly-convex-strongly-concave saddle-point problems with general non-bilinear objective and different condition numbers with respect to the primal and dual variables. First, we consider such problems with smooth composite terms, one of which has finite-sum structure. For this setting we propose a variance reduction algorithm with complexity estimates superior to the existing bounds in the literature. Second, we consider finite-sum saddle-point problems with composite terms and propose several algorithms depending on the properties of the composite terms. When the composite terms are smooth we obtain better complexity bounds than the ones in the literature, including the bounds of a recently proposed nearly-optimal algorithms which do not consider the composite structure of the problem. If the composite terms are prox-friendly, we propose a variance reduction algorithm that, on the one hand, is accelerated compared to existing variance reduction algorithms and, on the other hand, provides in the composite setting similar complexity bounds to the nearly-optimal algorithm which is designed for noncomposite setting. Besides, our algorithms allow one to separate the complexity bounds, i. e. estimate, for each part of the objective separately, the number of oracle calls that is sufficient to achieve a given accuracy. This is important since different parts can have different arithmetic complexity of the oracle, and it is desired to call expensive oracles less often than cheap oracles. The key thing to all these results is our general framework for saddle-point problems, which may be of independent interest. This framework, in turn is based on our proposed Accelerated Meta-Algorithm for composite optimization with probabilistic inexact oracles and probabilistic inexactness in the proximal mapping, which may be of independent interest as well.

  5. Аксёнов А.А., Жлуктов С.В., Калугина М.Д., Каширин В.С., Лобанов А.И., Шаурман Д.В.
    Редуцированная математическая модель свертывания крови с учетом переключения активности тромбина как основа оценки влияния гемодинамических эффектов и ее реализация в пакете FlowVision
    Компьютерные исследования и моделирование, 2023, т. 15, № 4, с. 1039-1067

    Рассматривается возможность численного 3D-моделирования образования тромбов.

    Известные детальные математические модели формирования тромбов включают в себя большое число уравнений. Для совмещения таких подробных математических моделей с гидродинамическими кодами для моделирования роста тромбов в кровотоке необходимы значительные вычислительные ресурсы. Разумной альтернативой представляется использование редуцированных математических моделей. В настоящей работе описаны две математические модели, основанные на редуцированной математической модели производства тромбина.

    Первая модель описывает рост тромбоцитарного тромба в крупном сосуде (артерии). Течения в артериях существенно нестационарные, для артерий характерны пульсовые волны. Скорость течения крови в них велика по сравнению с венозным деревом. Редуцированная модель производства тромбина и тромбообразования в артериях относительно проста. Показано, что процессы производства тромбина хорошо описываются приближением нулевого порядка.

    Для вен характерны более низкие скорости, меньшие градиенты и, как следствие, меньшие значения напряжений сдвига. Для моделирования производства тромбина в венах необходимо решать более сложную систему уравнений, учитывающую все нелинейные слагаемые в правых частях.

    Моделирование проводится в индустриальном программном комплексе (ПК) FlowVision.

    Проведенные тестовые расчеты показали адекватность редуцированных моделей производства тромбина и тромбообразования. В частности, расчеты демонстрируют формирование зоны возвратного течения за тромбом. За счет формирования такой зоны происходит медленный рост тромба в направлении вниз по потоку. В наветренной части тромба концентрация активных тромбоцитов мала, соответственно, рост тромба в направлении вверх по потоку незначителен.

    При учете изменения течения в процессе сердечного цикла рост тромба происходит гораздо медленнее, чем при задании осредненных (по сердечному циклу) условий. Тромбин и активированные тромбоциты, наработанные во время диастолы, быстро уносятся потоком крови во время систолы. Заметный эффект оказывает учет неньютоновской реологии крови.

    Aksenov A.A., Zhluktov S.V., Kalugina M.D., Kashirin V.S., Lobanov A.I., Shaurman D.V.
    Reduced mathematical model of blood coagulation taking into account thrombin activity switching as a basis for estimation of hemodynamic effects and its implementation in FlowVision package
    Computer Research and Modeling, 2023, v. 15, no. 4, pp. 1039-1067

    The possibility of numerical 3D simulation of thrombi formation is considered.

    The developed up to now detailed mathematical models describing formation of thrombi and clots include a great number of equations. Being implemented in a CFD code, the detailed mathematical models require essential computer resources for simulation of the thrombi growth in a blood flow. A reasonable alternative way is using reduced mathematical models. Two models based on the reduced mathematical model for the thrombin generation are described in the given paper.

    The first model describes growth of a thrombus in a great vessel (artery). The artery flows are essentially unsteady. They are characterized by pulse waves. The blood velocity here is high compared to that in the vein tree. The reduced model for the thrombin generation and the thrombus growth in an artery is relatively simple. The processes accompanying the thrombin generation in arteries are well described by the zero-order approximation.

    A vein flow is characterized lower velocity value, lower gradients, and lower shear stresses. In order to simulate the thrombin generation in veins, a more complex system of equations has to be solved. The model must allow for all the non-linear terms in the right-hand sides of the equations.

    The simulation is carried out in the industrial software FlowVision.

    The performed numerical investigations have shown the suitability of the reduced models for simulation of thrombin generation and thrombus growth. The calculations demonstrate formation of the recirculation zone behind a thrombus. The concentration of thrombin and the mass fraction of activated platelets are maximum here. Formation of such a zone causes slow growth of the thrombus downstream. At the upwind part of the thrombus, the concentration of activated platelets is low, and the upstream thrombus growth is negligible.

    When the blood flow variation during a hart cycle is taken into account, the thrombus growth proceeds substantially slower compared to the results obtained under the assumption of constant (averaged over a hard cycle) conditions. Thrombin and activated platelets produced during diastole are quickly carried away by the blood flow during systole. Account of non-Newtonian rheology of blood noticeably affects the results.

  6. Ирхин И.А., Булатов В.Г., Воронцов К.В.
    Аддитивная регуляризация тематических моделей с быстрой векторизацией текста
    Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1515-1528

    Задача вероятностного тематического моделирования заключается в том, чтобы по заданной коллекции текстовых документов найти две матрицы: матрицу условных вероятностей тем в документах и матрицу условных вероятностей слов в темах. Каждый документ представляется в виде мультимножества слов, то есть предполагается, что для выявления тематики документа не важен порядок слов в нем, а важна только их частота. При таком предположении задача сводится к вычислению низкорангового неотрицательного матричного разложения, наилучшего по критерию максимума правдоподобия. Данная задача имеет в общем случае бесконечное множество решений, то есть является некорректно поставленной. Для регуляризации ее решения к логарифму правдоподобия добавляется взвешенная сумма оптимизационных критериев, с помощью которых формализуются дополнительные требования к модели. При моделировании больших текстовых коллекций хранение первой матрицы представляется нецелесообразным, поскольку ее размер пропорционален числу документов в коллекции. В то же время тематические векторные представления документов необходимы для решения многих задач текстовой аналитики — информационного поиска, кластеризации, классификации, суммаризации текстов. На практике тематический вектор вычисляется для каждого документа по необходимости, что может потребовать десятков итераций по всем словам документа. В данной работе предлагается способ быстрого вычисления тематического вектора для произвольного текста, требующий лишь одной итерации, то есть однократного прохода по всем словам документа. Для этого в модель вводится дополнительное ограничение в виде уравнения, позволяющего вычислять первую матрицу через вторую за линейное время. Хотя формально данное ограничение не является оптимизационным критерием, фактически оно выполняет роль регуляризатора и может применяться в сочетании с другими критериями в рамках теории аддитивной регуляризации тематических моделей ARTM. Эксперименты на трех свободно доступных текстовых коллекциях показали, что предложенный метод улучшает качество модели по пяти оценкам качества, характеризующим разреженность, различность, информативность и когерентность тем. Для проведения экспериментов использовались библиотеки с открытымк одомB igARTM и TopicNet.

    Irkhin I.A., Bulatov V.G., Vorontsov K.V.
    Additive regularizarion of topic models with fast text vectorizartion
    Computer Research and Modeling, 2020, v. 12, no. 6, pp. 1515-1528

    The probabilistic topic model of a text document collection finds two matrices: a matrix of conditional probabilities of topics in documents and a matrix of conditional probabilities of words in topics. Each document is represented by a multiset of words also called the “bag of words”, thus assuming that the order of words is not important for revealing the latent topics of the document. Under this assumption, the problem is reduced to a low-rank non-negative matrix factorization governed by likelihood maximization. In general, this problem is ill-posed having an infinite set of solutions. In order to regularize the solution, a weighted sum of optimization criteria is added to the log-likelihood. When modeling large text collections, storing the first matrix seems to be impractical, since its size is proportional to the number of documents in the collection. At the same time, the topical vector representation (embedding) of documents is necessary for solving many text analysis tasks, such as information retrieval, clustering, classification, and summarization of texts. In practice, the topical embedding is calculated for a document “on-the-fly”, which may require dozens of iterations over all the words of the document. In this paper, we propose a way to calculate a topical embedding quickly, by one pass over document words. For this, an additional constraint is introduced into the model in the form of an equation, which calculates the first matrix from the second one in linear time. Although formally this constraint is not an optimization criterion, in fact it plays the role of a regularizer and can be used in combination with other regularizers within the additive regularization framework ARTM. Experiments on three text collections have shown that the proposed method improves the model in terms of sparseness, difference, logLift and coherence measures of topic quality. The open source libraries BigARTM and TopicNet were used for the experiments.

  7. Юдин Н.Е., Гасников А.В.
    Регуляризация и ускорение метода Гаусса – Ньютона
    Компьютерные исследования и моделирование, 2024, т. 16, № 7, с. 1829-1840

    Предлагается семейство методов Гаусса – Ньютона для решения оптимизационных задачи систем нелинейных уравнений, основанное на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. В работе представлено развитие схемы метода трех квадратов с добавлением моментного члена к правилу обновления искомых параметров в решаемой задаче. Получившаяся схема обладает несколькими замечательными свойствами. Во-первых, в работе алгоритмически описано целое параметрическое семейство методов, минимизирующих функционалы специального вида: композиции невязки нелинейного уравнения и унимодального функционала. Такой функционал, целиком согласующийся с парадигмой «серого ящика» в описании задачи, объединяет в себе большое количество решаемых задач, связанных с приложениями в машинном обучении, с задачами восстановления регрессионной зависимости. Во-вторых, полученное семейство методов описывается как обобщение нескольких форм алгоритма Левенберга – Марквардта, допускающих реализацию в том числе и в неевклидовых пространствах. В алгоритме, описывающем параметрическое семейство методов Гаусса – Ньютона, используется итеративная процедура, осуществляющая неточное параметризованное проксимальное отображение и сдвиг с помощью моментного члена. Работа содержит детальный анализ эффективности предложенного семейства методов Гаусса – Ньютона, выведенные оценки учитывают количество внешних итераций алгоритма решения основной задачи, точность и вычислительную сложность представления локальной модели и вычисления оракула. Для семейства методов выведены условия сублинейной и линейной сходимости, основанные на неравенстве Поляка – Лоясиевича. В обоих наблюдаемых режимах сходимости локально предполагается наличие свойства Липшица у невязки нелинейной системы уравнений. Кроме теоретического анализа схемы, в работе изучаются вопросы ее практической реализации. В частности, в проведенных экспериментах для субоптимального шага приводятся схемы эффективного вычисления аппроксимации наилучшего шага, что позволяет на практике улучшить сходимость метода по сравнению с оригинальным методом трех квадратов. Предложенная схема объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса – Ньютона, в добавок к этому в работе предложена монотонная моментная модификация семейства разработанных методов, не замедляющая поиск решения в худшем случае и демонстрирующая на практике улучшение сходимости метода.

    Yudin N.E., Gasnikov A.V.
    Regularization and acceleration of Gauss – Newton method
    Computer Research and Modeling, 2024, v. 16, no. 7, pp. 1829-1840

    We propose a family of Gauss –Newton methods for solving optimization problems and systems of nonlinear equations based on the ideas of using the upper estimate of the norm of the residual of the system of nonlinear equations and quadratic regularization. The paper presents a development of the «Three Squares Method» scheme with the addition of a momentum term to the update rule of the sought parameters in the problem to be solved. The resulting scheme has several remarkable properties. First, the paper algorithmically describes a whole parametric family of methods that minimize functionals of a special kind: compositions of the residual of a nonlinear equation and an unimodal functional. Such a functional, entirely consistent with the «gray box» paradigm in the problem description, combines a large number of solvable problems related to applications in machine learning, with the regression problems. Secondly, the obtained family of methods is described as a generalization of several forms of the Levenberg –Marquardt algorithm, allowing implementation in non-Euclidean spaces as well. The algorithm describing the parametric family of Gauss –Newton methods uses an iterative procedure that performs an inexact parametrized proximal mapping and shift using a momentum term. The paper contains a detailed analysis of the efficiency of the proposed family of Gauss – Newton methods; the derived estimates take into account the number of external iterations of the algorithm for solving the main problem, the accuracy and computational complexity of the local model representation and oracle computation. Sublinear and linear convergence conditions based on the Polak – Lojasiewicz inequality are derived for the family of methods. In both observed convergence regimes, the Lipschitz property of the residual of the nonlinear system of equations is locally assumed. In addition to the theoretical analysis of the scheme, the paper studies the issues of its practical implementation. In particular, in the experiments conducted for the suboptimal step, the schemes of effective calculation of the approximation of the best step are given, which makes it possible to improve the convergence of the method in practice in comparison with the original «Three Square Method». The proposed scheme combines several existing and frequently used in practice modifications of the Gauss –Newton method, in addition, the paper proposes a monotone momentum modification of the family of developed methods, which does not slow down the search for a solution in the worst case and demonstrates in practice an improvement in the convergence of the method.

Страницы: « первая предыдущая

Журнал индексируется в Scopus

Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU

Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science

Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"

Международная Междисциплинарная Конференция МАТЕМАТИКА. КОМПЬЮТЕР. ОБРАЗОВАНИЕ.