Все выпуски
- 2025 Том 17
- 2024 Том 16
- 2023 Том 15
- 2022 Том 14
- 2021 Том 13
- 2020 Том 12
- 2019 Том 11
- 2018 Том 10
- 2017 Том 9
- 2016 Том 8
- 2015 Том 7
- 2014 Том 6
- 2013 Том 5
- 2012 Том 4
- 2011 Том 3
- 2010 Том 2
- 2009 Том 1
-
О численном решении совместных обратных задач геофизики с использованием требования структурного подобия
Компьютерные исследования и моделирование, 2020, т. 12, № 2, с. 329-343Решение обратных геофизических задач сложно в силу их математически некорректной постановки и большой вычислительной емкости. Геофизическая разведка малоизученных регионов, таких как шельф северных морей, дополнительно осложнена отсутствием надежных геологических данных. В этих условиях большое значение приобретают способы совместного использования информации, полученной различными геофизическими методами. Настоящая работа посвящена развитию подхода к совместной инверсии, основанного на требовании обращения в ноль определителя матрицы Грама для векторов параметров тех типов, которые используются в инверсии. В рамках этого подхода минимизируется нелинейный функционал, состоящий из суммы квадратов взвешенных невязок, суммы стабилизирующих функционалов и члена, отвечающего за наложение условия структурного подобия. Мы применяем этот подход к инверсии двух типов геофизических данных: сейсмики и электроразведки. Мы изучаем инверсию акустических данных совместно с низкочастотным электрическим полем с наложением требования структурного подобия на результирующие распределения скорости звука и электропроводности.
Рассмотрены постановка задачи обратной задачи и численный метод оптимизации. Нелинейная минимизация выполняется методом сопряженных градиентов. Эффективность разработанного подхода продемонстрирована на численном примере, в котором трехмерное распределение электропроводности считалось известным точно, а распределение скорости звука подбиралось путем решения соответствующей обратной задачи. Для численного эксперимента было использовано распределение скорости звука, построенное на основании упрощенных сейсмических горизонтов реального морского месторождения. Для этого распределения рассчитывались синтетические сейсмограммы, которые служили входными данными для алгоритма инверсии. Результирующее распределение скорости звука не только обеспечивало совпадение данных до заданной точности, но и было согласовано с заданным распределением электропроводности. На численных примерах продемонстрировано, что оптимально выбранный вес структурного ограничения может существенно улучшить детальность решения обратной задачи и позволяет восстановить особенности, которые иначе были бы не разрешены.
On numerical solution of joint inverse geophysical problems with structural constraints
Computer Research and Modeling, 2020, v. 12, no. 2, pp. 329-343Inverse geophysical problems are difficult to solve due to their mathematically incorrect formulation and large computational complexity. Geophysical exploration in frontier areas is even more complicated due to the lack of reliable geological information. In this case, inversion methods that allow interpretation of several types of geophysical data together are recognized to be of major importance. This paper is dedicated to one of such inversion methods, which is based on minimization of the determinant of the Gram matrix for a set of model vectors. Within the framework of this approach, we minimize a nonlinear functional, which consists of squared norms of data residual of different types, the sum of stabilizing functionals and a term that measures the structural similarity between different model vectors. We apply this approach to seismic and electromagnetic synthetic data set. Specifically, we study joint inversion of acoustic pressure response together with controlled-source electrical field imposing structural constraints on resulting electrical conductivity and P-wave velocity distributions.
We start off this note with the problem formulation and present the numerical method for inverse problem. We implemented the conjugate-gradient algorithm for non-linear optimization. The efficiency of our approach is demonstrated in numerical experiments, in which the true 3D electrical conductivity model was assumed to be known, but the velocity model was constructed during inversion of seismic data. The true velocity model was based on a simplified geology structure of a marine prospect. Synthetic seismic data was used as an input for our minimization algorithm. The resulting velocity model not only fit to the data but also has structural similarity with the given conductivity model. Our tests have shown that optimally chosen weight of the Gramian term may improve resolution of the final models considerably.
-
Метод тяжелого шарика с усреднением
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 277-308Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.
Ключевые слова: методы первого порядка, выпуклая оптимизация, ускоренные градиентные методы, глобальная сходимость.First-order optimization methods are workhorses in a wide range of modern applications in economics, physics, biology, machine learning, control, and other fields. Among other first-order methods accelerated and momentum ones obtain special attention because of their practical efficiency. The heavy-ball method (HB) is one of the first momentum methods. The method was proposed in 1964 and the first analysis was conducted for quadratic strongly convex functions. Since then a number of variations of HB have been proposed and analyzed. In particular, HB is known for its simplicity in implementation and its performance on nonconvex problems. However, as other momentum methods, it has nonmonotone behavior, and for optimal parameters, the method suffers from the so-called peak effect. To address this issue, in this paper, we consider an averaged version of the heavy-ball method (AHB). We show that for quadratic problems AHB has a smaller maximal deviation from the solution than HB. Moreover, for general convex and strongly convex functions, we prove non-accelerated rates of global convergence of AHB, its weighted version WAHB, and for AHB with restarts R-AHB. To the best of our knowledge, such guarantees for HB with averaging were not explicitly proven for strongly convex problems in the existing works. Finally, we conduct several numerical experiments on minimizing quadratic and nonquadratic functions to demonstrate the advantages of using averaging for HB. Moreover, we also tested one more modification of AHB called the tail-averaged heavy-ball method (TAHB). In the experiments, we observed that HB with a properly adjusted averaging scheme converges faster than HB without averaging and has smaller oscillations.
-
Алгоритм идентификации вихрей по векторам скорости течения на основе простейшей математической модели вихревой динамики
Компьютерные исследования и моделирование, 2023, т. 15, № 6, с. 1477-1493Предложен алгоритм идентификации параметров плоской вихревой структуры по информации о скорости теченияв конечном (малом) наборе опорных точек. Алгоритм основан на использовании модельной системы точечных вихрей и минимизации в пространстве ее параметров целевого функционала, оценивающего близость модельного и известного наборов векторов скорости. Для численной реализации используются модифицированный метод градиентного спуска с управлением шагом, аппроксимации производных конечными разностями, аналитическое выражение для поля скорости, индуцируемое модельной системой. Проведен численный экспериментальный анализ работы алгоритма на тестовых течениях: одного и системы нескольких точечных вихрей, вихря Рэнкина и диполя Ламба. Используемые дляид ентификации векторы скорости задавались в случайно распределенных наборах опорных точек (от 3 до 200) согласно известным аналитическим выражениям для тестовых полей скорости. В результате вычислений показано: алгоритм сходится к искомому минимуму из широкой области начальных приближений; алгоритм сходится во всех случаях когда опорные точки лежат в областях, где линии тока тестовой и модельной систем топологически эквивалентны; если системы топологически не эквивалентны, то доля удачных расчетов снижается, но сходимость алгоритма также может иметь место; координаты найденных в результате сходимости алгоритма вихрей модельной системы близки к центрам вихрей тестовых конфигураций, а во многих случаях и значения их интенсивностей; сходимость алгоритма в большей степени зависит от расположения, чем от количества используемых при идентификации векторов. Результаты исследования позволяют рекомендовать предложенный алгоритм для анализа плоских вихревых структур, у которых линии тока топологически близки траекториям частиц в поле скорости систем точечных вихрей.
Ключевые слова: вихревые структуры, алгоритм идентификации, системы точечных вихрей, метод градиентного спуска.
Algorithm for vortices identification based on flow velocity vectors using the simplest mathematical model of vortex dynamics
Computer Research and Modeling, 2023, v. 15, no. 6, pp. 1477-1493An algorithm is proposed to identify parameters of a 2D vortex structure used on information about the flow velocity at a finite (small) set of reference points. The approach is based on using a set of point vortices as a model system and minimizing a functional that compares the model and known sets of velocity vectors in the space of model parameters. For numerical implementation, the method of gradient descent with step size control, approximation of derivatives by finite differences, and the analytical expression of the velocity field induced by the point vortex model are used. An experimental analysis of the operation of the algorithm on test flows is carried out: one and a system of several point vortices, a Rankine vortex, and a Lamb dipole. According to the velocity fields of test flows, the velocity vectors utilized for identification were arranged in a randomly distributed set of reference points (from 3 to 200 pieces). Using the computations, it was determined that: the algorithm converges to the minimum from a wide range of initial approximations; the algorithm converges in all cases when the reference points are located in areas where the streamlines of the test and model systems are topologically equivalent; if the streamlines of the systems are not topologically equivalent, then the percentage of successful calculations decreases, but convergence can also take place; when the method converges, the coordinates of the vortices of the model system are close to the centers of the vortices of the test configurations, and in many cases, the values of their circulations also; con-vergence depends more on location than on the number of vectors used for identification. The results of the study allow us to recommend the proposed algorithm for identifying 2D vortex structures whose streamlines are topologically close to systems of point vortices.
-
Моделирование теплового поля неподвижных симметричных тел в разреженной низкотемпературной плазме
Компьютерные исследования и моделирование, 2025, т. 17, № 1, с. 73-91В работе исследуется процесс самосогласованной релаксации области возмущений, созданных в разреженной бинарной низкотемпературной плазме неподвижным заряженным шаром или цилиндром с абсорбирующей поверхностью. Особенностью подобных задач является их самосогласованный кинетический характер, при котором нельзя отделить процессы переноса в фазовом пространстве и формирования электромагнитного поля. Представлена математическая модель, позволяющая описывать и анализировать состояние газа, электрическое и тепловое поле в окрестности тела. Многомерность кинетической формулировки создает определенные проблемы при численном решении, поэтому для задачи подобрана криволинейная система неголономных координат, которая минимизирует ее фазовое пространство, что способствует повышению эффективности численных методов. Для таких координат обоснована и проанализирована форма кинетического уравнения Власова. Для его решения использован вариант метода крупных частиц с постоянным форм-фактором. В расчетах применялась подвижная сетка, отслеживающая смещение в фазовом пространстве носителя функции распределения, что дополнительно уменьшило объем контролируемой области фазового пространства. Раскрыты ключевые детали модели и численного метода. Модель и метод реализованы в виде кода на языке Matlab. На примере решения задачи для шара показано наличие в возмущенной зоне существенного неравновесия и анизотропии в распределении частиц по скорости. По результатам расчетов представлены картины эволюции структуры функции распределения частиц, профилей основных макроскопических характеристик газа — концентрации, тока, температуры и теплового потока, характеристик электрического поля в возмущенной области. Установлен механизм разогрева притягивающихся частиц в возмущенной зоне и показаны некоторые важные особенности процесса формирования теплового потока. Получены результаты, хорошо объяснимые с физической точки зрения, что подтверждает адекватность модели и корректность работы программного инструмента. Отмечаются создание и апробация основы для разработки в перспективе инструментов решения и более сложных задач моделирования поведения ионизированных газов вблизи заряженных тел.
Работа будет полезной специалистам в области математического моделирования, процессов тепло- и массообмена, физики низкотемпературной плазмы, аспирантам и студентам старших курсов, специализирующимся в указанных направлениях.
Ключевые слова: математическое моделирование, разреженная плазма, абсорбирующий заряженный шар, возмущенная зона, фазовое пространство, неголономные координаты, функция распределения, самосогласованное поле, макропараметры, эволюция и стационарное состояние.
Modeling the thermal field of stationary symmetric bodies in rarefied low-temperature plasma
Computer Research and Modeling, 2025, v. 17, no. 1, pp. 73-91The work investigates the process of self-consistent relaxation of the region of disturbances created in a rarefied binary low-temperature plasma by a stationary charged ball or cylinder with an absorbing surface. A feature of such problems is their self-consistent kinetic nature, in which it is impossible to separate the processes of transfer in phase space and the formation of an electromagnetic field. A mathematical model is presented that makes it possible to describe and analyze the state of the gas, electric and thermal fields in the vicinity of the body. The multidimensionality of the kinetic formulation creates certain problems in the numerical solution, therefore a curvilinear system of nonholonomic coordinates was selected for the problem, which minimizes its phase space, which contributes to increasing the efficiency of numerical methods. For such coordinates, the form of the Vlasov kinetic equation has been justified and analyzed. To solve it, a variant of the large particle method with a constant form factor was used. The calculations used a moving grid that tracks the displacement of the distribution function carrier in the phase space, which further reduced the volume of the controlled region of the phase space. Key details of the model and numerical method are revealed. The model and the method are implemented as code in the Matlab language. Using the example of solving a problem for a ball, the presence of significant disequilibrium and anisotropy in the particle velocity distribution in the disturbed zone is shown. Based on the calculation results, pictures of the evolution of the structure of the particle distribution function, profiles of the main macroscopic characteristics of the gas — concentration, current, temperature and heat flow, and characteristics of the electric field in the disturbed region are presented. The mechanism of heating of attracted particles in the disturbed zone is established and some important features of the process of formation of heat flow are shown. The results obtained are well explainable from a physical point of view, which confirms the adequacy of the model and the correct operation of the software tool. The creation and testing of a basis for the development in the future of tools for solving more complex problems of modeling the behavior of ionized gases near charged bodies is noted.
The work will be useful to specialists in the field of mathematical modeling, heat and mass transfer processes, lowtemperature plasma physics, postgraduate students and senior students specializing in the indicated areas.
-
Оптимальное управление движением в идеальной жидкости тела c винтовой симметрией с внутренними роторами
Компьютерные исследования и моделирование, 2017, т. 9, № 5, с. 741-759В данной работе рассматривается управляемое движение в идеальной жидкости винтового тела с тремя лопастями за счет вращения трех внутренних роторов. Ставится задача выбора управляющих воздействий, обеспечивающих движение тела вблизи заданной траектории. Для определения управлений, гарантирующих движение вблизи заданной кривой, предложены методы, основанные на применении гибридных генетических алгоритмов (генетические алгоритмы с вещественным кодированием с дополнительным обучением лидера популяции каким-либо градиентным методом) и искусственных нейронных сетей. Корректность работы предложенных численных методов оценивается с помощью полученных ранее дифференциальных уравнений, определяющих закон изменения управляющих воздействий для заданной траектории.
В подходе на основе гибридных генетических алгоритмов исходная задача минимизации интегрального функционала сводится к минимизации функции многих переменных. Заданный временной интервал разбивается на малые элементы, на каждом из которых управляющие воздействия аппроксимируются полиномами Лагранжа 2 и 3 порядков. Гибридные генетические алгоритмы при соответствующих настройках воспроизводят решение, близкое точному. Однако стоимость расчета 1 секунды физического процесса составляет порядка 300 секунд процессорного времени.
Для повышения быстродействия расчета управляющих воздействий предложен алгоритм на основе искусственных нейронных сетей. В качестве входного сигнала нейронная сеть принимает компоненты требуемого вектора перемещения. В качестве выходного сигнала возвращаются узловые значения полиномов Лагранжа, приближенно описывающих управляющие воздействия. Нейронная сеть обучается хорошо известным методом обратного распространения ошибки. Обучающая выборка генерируется с помощью подхода на основе гибридных генетических алгоритмов. Расчет 1 секунды физического процесса с помощью нейронной сети требует примерно 0.004 секунды процессорного времени. То есть на 6 порядков быстрее по сравнению в гибридным генетическим алгоритмом. Управление, рассчитанное с помощью искусственной нейронной сети, отличается от точного. Однако, несмотря на данное отличие, обеспечивает достаточно точное следование по заданной траектории.
Ключевые слова: управление движением, генетические алгоритмы, нейронные сети, движение в жидкости, идеальная жидкость.
Optimal control of the motion in an ideal fluid of a screw-shaped body with internal rotors
Computer Research and Modeling, 2017, v. 9, no. 5, pp. 741-759Просмотров за год: 12. Цитирований: 1 (РИНЦ).In this paper we consider the controlled motion of a helical body with three blades in an ideal fluid, which is executed by rotating three internal rotors. We set the problem of selecting control actions, which ensure the motion of the body near the predetermined trajectory. To determine controls that guarantee motion near the given curve, we propose methods based on the application of hybrid genetic algorithms (genetic algorithms with real encoding and with additional learning of the leader of the population by a gradient method) and artificial neural networks. The correctness of the operation of the proposed numerical methods is estimated using previously obtained differential equations, which define the law of changing the control actions for the predetermined trajectory.
In the approach based on hybrid genetic algorithms, the initial problem of minimizing the integral functional reduces to minimizing the function of many variables. The given time interval is broken up into small elements, on each of which the control actions are approximated by Lagrangian polynomials of order 2 and 3. When appropriately adjusted, the hybrid genetic algorithms reproduce a solution close to exact. However, the cost of calculation of 1 second of the physical process is about 300 seconds of processor time.
To increase the speed of calculation of control actions, we propose an algorithm based on artificial neural networks. As the input signal the neural network takes the components of the required displacement vector. The node values of the Lagrangian polynomials which approximately describe the control actions return as output signals . The neural network is taught by the well-known back-propagation method. The learning sample is generated using the approach based on hybrid genetic algorithms. The calculation of 1 second of the physical process by means of the neural network requires about 0.004 seconds of processor time, that is, 6 orders faster than the hybrid genetic algorithm. The control calculated by means of the artificial neural network differs from exact control. However, in spite of this difference, it ensures that the predetermined trajectory is followed exactly.
-
Поиск стохастических равновесий в транспортных сетях с помощью универсального прямо-двойственного градиентного метода
Компьютерные исследования и моделирование, 2018, т. 10, № 3, с. 335-345В статье рассматривается одна из задач транспортного моделирования — поиск равновесного распределения транспортных потоков в сети. Для описания временных издержек и распределения потоков в сети, представляемой с помощью графа, используется классическая модель Бэкмана. При этом поведение агентов не является полностью рациональным, что описывается посредством введения марковской логит-динамики: в каждый момент времени водительвыбирает маршрут случайно согласно распределению Гиббса с учетом текущих временных затрат на ребрах графа. Таким образом, задача сводится к поиску стационарного распределения для данной динамики, которое является стохастическим равновесием Нэша – Вардропа в соответствующей популяционной игре загрузки транспортной сети. Так как данная игра является потенциальной, эта задача эквивалентна минимизации некоторого функционала от распределения потоков, причем стохастичностьпро является в появлении энтропийной регуляризации. Для полученной задачи оптимизации построена двойственная задача. Для ее решения применен универсальный прямо-двойственный градиентный метод. Его особенность заключается в адаптивной настройке на локальную гладкость задачи, что особенно важно при сложной структуре целевой функции и невозможности априорно оценитьг ладкость с приемлемой точностью. Такая ситуация имеет место в рассматриваемой задаче, так как свойства функции сильно зависят от транспортного графа, на который мы не накладываем сильных ограничений. В статье приводится описание алгоритма, в том числе подробно рассмотрено применение численного дифференцирования для вычисления значения и градиента целевой функции. В работе представлены теоретическая оценка времени работы алгоритма и результаты численных экспериментов на примере небольшого американского города.
Ключевые слова: модель Бэкмана, равновесие Нэша – Вардропа, универсальный метод подобных треугольников, выпуклая оптимизация.
Searching stochastic equilibria in transport networks by universal primal-dual gradient method
Computer Research and Modeling, 2018, v. 10, no. 3, pp. 335-345Просмотров за год: 28.We consider one of the problems of transport modelling — searching the equilibrium distribution of traffic flows in the network. We use the classic Beckman’s model to describe time costs and flow distribution in the network represented by directed graph. Meanwhile agents’ behavior is not completely rational, what is described by the introduction of Markov logit dynamics: any driver selects a route randomly according to the Gibbs’ distribution taking into account current time costs on the edges of the graph. Thus, the problem is reduced to searching of the stationary distribution for this dynamics which is a stochastic Nash – Wardrope equilibrium in the corresponding population congestion game in the transport network. Since the game is potential, this problem is equivalent to the problem of minimization of some functional over flows distribution. The stochasticity is reflected in the appearance of the entropy regularization, in contrast to non-stochastic case. The dual problem is constructed to obtain a solution of the optimization problem. The universal primal-dual gradient method is applied. A major specificity of this method lies in an adaptive adjustment to the local smoothness of the problem, what is most important in case of the complex structure of the objective function and an inability to obtain a prior smoothness bound with acceptable accuracy. Such a situation occurs in the considered problem since the properties of the function strongly depend on the transport graph, on which we do not impose strong restrictions. The article describes the algorithm including the numerical differentiation for calculation of the objective function value and gradient. In addition, the paper represents a theoretical estimate of time complexity of the algorithm and the results of numerical experiments conducted on a small American town.
-
О связях задач стохастической выпуклой минимизации с задачами минимизации эмпирического риска на шарах в $p$-нормах
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 309-319В данной работе рассматриваются задачи выпуклой стохастической оптимизации, возникающие в анализе данных (минимизация функции риска), а также в математической статистике (минимизация функции правдоподобия). Такие задачи могут быть решены как онлайн-, так и офлайн-методами (метод Монте-Карло). При офлайн-подходе исходная задача заменяется эмпирической задачей — задачей минимизации эмпирического риска. В современном машинном обучении ключевым является следующий вопрос: какой размер выборки (количество слагаемых в функционале эмпирического риска) нужно взять, чтобы достаточно точное решение эмпирической задачи было решением исходной задачи с заданной точностью. Базируясь на недавних существенных продвижениях в машинном обучении и оптимизации для решения выпуклых стохастических задач на евклидовых шарах (или всем пространстве), мы рассматриваем случай произвольных шаров в $p$-нормах и исследуем, как влияет выбор параметра $p$ на оценки необходимого числа слагаемых в функции эмпирического риска.
В данной работе рассмотрены как выпуклые задачи оптимизации, так и седловые. Для сильно выпуклых задач были обобщены уже имеющиеся результаты об одинаковых размерах выборки в обоих подходах (онлайн и офлайн) на произвольные нормы. Более того, было показано, что условие сильной выпуклости может быть ослаблено: полученные результаты справедливы для функций, удовлетворяющих условию квадратичного роста. В случае когда данное условие не выполняется, предлагается использовать регуляризацию исходной задачи в произвольной норме. В отличие от выпуклых задач седловые задачи являются намного менее изученными. Для седловых задач размер выборки был получен при условии $\gamma$-роста седловой функции по разным группам переменных. Это условие при $\gamma = 1$ есть не что иное, как аналог условия острого минимума в выпуклых задач. В данной статье было показано, что размер выборки в случае острого минимума (седла) почти не зависит от желаемой точности решения исходной задачи.
Ключевые слова: выпуклая оптимизация, стохастическая оптимизация, регуляризация, острый минимум, условие квадратичного роста, метод Монте-Карло.
On the relations of stochastic convex optimization problems with empirical risk minimization problems on $p$-norm balls
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 309-319In this paper, we consider convex stochastic optimization problems arising in machine learning applications (e. g., risk minimization) and mathematical statistics (e. g., maximum likelihood estimation). There are two main approaches to solve such kinds of problems, namely the Stochastic Approximation approach (online approach) and the Sample Average Approximation approach, also known as the Monte Carlo approach, (offline approach). In the offline approach, the problem is replaced by its empirical counterpart (the empirical risk minimization problem). The natural question is how to define the problem sample size, i. e., how many realizations should be sampled so that the quite accurate solution of the empirical problem be the solution of the original problem with the desired precision. This issue is one of the main issues in modern machine learning and optimization. In the last decade, a lot of significant advances were made in these areas to solve convex stochastic optimization problems on the Euclidean balls (or the whole space). In this work, we are based on these advances and study the case of arbitrary balls in the $p$-norms. We also explore the question of how the parameter $p$ affects the estimates of the required number of terms as a function of empirical risk.
In this paper, both convex and saddle point optimization problems are considered. For strongly convex problems, the existing results on the same sample sizes in both approaches (online and offline) were generalized to arbitrary norms. Moreover, it was shown that the strong convexity condition can be weakened: the obtained results are valid for functions satisfying the quadratic growth condition. In the case when this condition is not met, it is proposed to use the regularization of the original problem in an arbitrary norm. In contradistinction to convex problems, saddle point problems are much less studied. For saddle point problems, the sample size was obtained under the condition of $\gamma$-growth of the objective function. When $\gamma = 1$, this condition is the condition of sharp minimum in convex problems. In this article, it was shown that the sample size in the case of a sharp minimum is almost independent of the desired accuracy of the solution of the original problem.
-
Градиентный метод с неточным оракулом для задач композитной невыпуклой оптимизации
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 321-334В этой статье мы предлагаем новый метод первого порядка для композитных невыпуклых задач минимизации с простыми ограничениями и неточным оракулом. Целевая функция задается как сумма «сложной», возможно, невыпуклой части с неточным оракулом и «простой» выпуклой части. Мы обобщаем понятие неточного оракула для выпуклых функций на случай невыпуклых функций. Неформально говоря, неточность оракула означает, что для «сложной» части в любой точке можно приближенно вычислить значение функции и построить квадратичную функцию, которая приближенно ограничивает эту функцию сверху. Рассматривается два возможных типа ошибки: контролируемая, которая может быть сде- лана сколь угодно маленькой, например, за счет решения вспомогательной задачи, и неконтролируемая. Примерами такой неточности являются: гладкие невыпуклые функции с неточным и непрерывным по Гёльдеру градиентом, функции, заданные вспомогательной равномерно вогнутой задачей максимизации, которая может быть решена лишь приближенно. Для введенного класса задачм ы предлагаем метод типа проекции градиента / зеркального спуска, который позволяет использовать различные прокс-функции для задания неевклидовой проекции на допустимое множество и более гибкой адаптации к геометрии допустимого множества; адаптивно выбирает контролируемую ошибку оракула и ошибку неевклидового проектирования; допускает неточное проксимальное отображение с двумя типами ошибки: контролируемой и неконтролируемой. Мы доказываем скорость сходимости нашего метода в терминах нормы обобщенного градиентного отображения и показываем, что в случае неточного непрерывного по Гёльдеру градиента наш метод является универсальным по отношению к параметру и константе Гёльдера. Это означает, что методу не нужно знание этих параметров для работы. При этом полученная оценка сложности является равномерно наилучшей при всех параметрах Гёльдера. Наконец, в частном случае показано, что малое значение нормы обобщенного градиентного отображения в точке означает, что в этой точке приближенно выполняется необходимое условие локального минимума.
Ключевые слова: невыпуклая оптимизация, композитная оптимизация, неточный оракул, непрерывный по Гёльдеру градиент, универсальный градиентный метод.
A gradient method with inexact oracle for composite nonconvex optimization
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 321-334In this paper, we develop a new first-order method for composite nonconvex minimization problems with simple constraints and inexact oracle. The objective function is given as a sum of «hard», possibly nonconvex part, and «simple» convex part. Informally speaking, oracle inexactness means that, for the «hard» part, at any point we can approximately calculate the value of the function and construct a quadratic function, which approximately bounds this function from above. We give several examples of such inexactness: smooth nonconvex functions with inexact H¨older-continuous gradient, functions given by the auxiliary uniformly concave maximization problem, which can be solved only approximately. For the introduced class of problems, we propose a gradient-type method, which allows one to use a different proximal setup to adapt to the geometry of the feasible set, adaptively chooses controlled oracle error, allows for inexact proximal mapping. We provide a convergence rate for our method in terms of the norm of generalized gradient mapping and show that, in the case of an inexact Hölder-continuous gradient, our method is universal with respect to Hölder parameters of the problem. Finally, in a particular case, we show that the small value of the norm of generalized gradient mapping at a point means that a necessary condition of local minimum approximately holds at that point.
-
Задача выживаемости для математической модели терапии глиомы с учетом гематоэнцефалического барьера
Компьютерные исследования и моделирование, 2018, т. 10, № 1, с. 113-123В статье предлагается математическая модель терапии глиомы с учетом гематоэнцефалического барьера, радиотерапии и терапии антителами. Проведена оценка параметров по экспериментальным данным, а также оценка влияния значений параметров на эффективность лечения и прогноз болезни. Исследованы возможные варианты последовательного применения радиотерапии и воздействия антител. Комбинированное применение радиотерапии с внутривенным введением $mab$ $Cx43$ приводит к потенцированию терапевтического эффекта при глиоме. Радиотерапия должна предшествовать химиотерапии, поскольку радиовоздействие уменьшает барьерную функцию эндотелиальных клеток. Эндотелиальные клетки сосудовмоз га плотно прилегают друг к другу. Между их стенками образуются так называемые плотные контакты, роль которых во беспечении ГЭБ состоит в том, что они предотвращают проникновение в ткань мозга различных нежелательных веществ из кровеносного русла. Плотные контакты между эндотелиальными клетками блокируют межклеточный пассивный транспорт.
Математическая модель состоит из непрерывной части и дискретной. Экспериментальные данные объема глиомы показывают следующую интересную динамику: после прекращения радиовоздействия рост опухоли не возобновляется сразу же, а существует некоторый промежуток времени, в течение которого глиома не растет. Клетки глиомы разделены на две группы. Первая группа — живые клетки, делящиеся с максимально возможной скоростью. Вторая группа — клетки, пострадавшие от радиации. В качестве показателя здоровья системы гематоэнцефалического барьера выбрано отношение количества клеток ГЭБ вт екущий момент к количеству клеток всо стоянии покоя, то есть всре днем здоровом состоянии.
Непрерывная часть модели включает в себя описание деления обоих типов клеток глиомы, восстановления клеток ГЭБ, а также динамику лекарственного средства. Уменьшение количества хорошо функционирующих клеток ГЭБ облегчает проникновение лекарственного средства к клеткам мозга, то есть усиливает действие лекарства. При этом скорость деления клеток глиомы не увеличивается, поскольку ограничена не дефицитом питательных веществ, доступных клеткам, а внутренними механизмами клетки. Дискретная часть математической модели включает в себя оператор радиовоздействия, который применяется к показателю ГЭБ и к глиомным клеткам.
В рамках математической модели лечения раковой опухоли (глиомы) решается задача оптимального управления с фазовыми ограничениями. Состояние пациента описывается двумя переменными: объемом опухоли и состоянием ГЭБ. Фазовые ограничения очерчивают некоторую область в пространстве этих показателей, которую мы называем областью выживаемости. Наша задача заключается в поиске таких стратегий лечения, которые минимизируют время лечения, максимизируют время отдыха пациента и при этом позволяют показателям состояния не выходить за разрешенные пределы. Поскольку задача выживаемости состоит в максимизации времени жизни пациента, то ищутся именно такие стратегии лечения, которые возвращают показатели в исходное положение (и мы видим на графиках периодические траектории). Периодические траектории говорят о том, что смертельно опасная болезнь переведена враз ряд хронических.
Ключевые слова: задача выживаемости, терапия глиом, математическая модель гематоэнцефалического барьера.
Survival task for the mathematical model of glioma therapy with blood-brain barrier
Computer Research and Modeling, 2018, v. 10, no. 1, pp. 113-123Просмотров за год: 14.The paper proposes a mathematical model for the therapy of glioma, taking into account the blood-brain barrier, radiotherapy and antibody therapy. The parameters were estimated from experimental data and the evaluation of the effect of parameter values on the effectiveness of treatment and the prognosis of the disease were obtained. The possible variants of sequential use of radiotherapy and the effect of antibodies have been explored. The combined use of radiotherapy with intravenous administration of $mab$ $Cx43$ leads to a potentiation of the therapeutic effect in glioma.
Radiotherapy must precede chemotherapy, as radio exposure reduces the barrier function of endothelial cells. Endothelial cells of the brain vessels fit tightly to each other. Between their walls are formed so-called tight contacts, whose role in the provision of BBB is that they prevent the penetration into the brain tissue of various undesirable substances from the bloodstream. Dense contacts between endothelial cells block the intercellular passive transport.
The mathematical model consists of a continuous part and a discrete one. Experimental data on the volume of glioma show the following interesting dynamics: after cessation of radio exposure, tumor growth does not resume immediately, but there is some time interval during which glioma does not grow. Glioma cells are divided into two groups. The first group is living cells that divide as fast as possible. The second group is cells affected by radiation. As a measure of the health of the blood-brain barrier system, the ratios of the number of BBB cells at the current moment to the number of cells at rest, that is, on average healthy state, are chosen.
The continuous part of the model includes a description of the division of both types of glioma cells, the recovery of BBB cells, and the dynamics of the drug. Reducing the number of well-functioning BBB cells facilitates the penetration of the drug to brain cells, that is, enhances the action of the drug. At the same time, the rate of division of glioma cells does not increase, since it is limited not by the deficiency of nutrients available to cells, but by the internal mechanisms of the cell. The discrete part of the mathematical model includes the operator of radio interaction, which is applied to the indicator of BBB and to glial cells.
Within the framework of the mathematical model of treatment of a cancer tumor (glioma), the problem of optimal control with phase constraints is solved. The patient’s condition is described by two variables: the volume of the tumor and the condition of the BBB. The phase constraints delineate a certain area in the space of these indicators, which we call the survival area. Our task is to find such treatment strategies that minimize the time of treatment, maximize the patient’s rest time, and at the same time allow state indicators not to exceed the permitted limits. Since the task of survival is to maximize the patient’s lifespan, it is precisely such treatment strategies that return the indicators to their original position (and we see periodic trajectories on the graphs). Periodic trajectories indicate that the deadly disease is translated into a chronic one.
-
Cубградиентные методы с шагом типа Б. Т. Поляка для задач минимизации квазивыпуклых функций с ограничениями-неравенствами и аналогами острого минимума
Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 105-122В работе рассмотрено два варианта понятия острого минимума для задач математического программирования с квазивыпуклой целевой функцией и ограничениями-неравенствами. Исследована задача описания варианта простого субградиентного метода с переключениями по продуктивным и непродуктивным шагам, для которого бы на классе задач с липшицевыми функциями можно было гарантировать сходимость со скоростью геометрической прогрессии ко множеству точных решений или его окрестности. При этом важно, чтобы для реализации метода не было необходимости знать параметр острого минимума, который обычно сложно оценить на практике. В качестве решения проблемы авторы предлагают использовать процедуру регулировки шага, аналогичную предложенной ранее Б. Т. Поляком. Однако при этом более остро по сравнению с классом задач без ограничений встает проблема знания точного значения минимума целевой функции. В работе описываются условия на погрешность этой информации, которые позволяют сохранить сходимость со скоростью геометрической прогрессии в окрестность множества точек минимума задачи. Рассмотрено два аналога понятия острого минимума для задач с ограничениями-неравенствами. В первом случае возникает проблема приближения к точному решению лишь до заранее выбранного уровня точности, при этом рассматривается случай, когда минимальное значение целевой функции неизвестно, вместо этого дано некоторое его приближение. Описаны условия на неточность минимума целевой функции, при которой все еще сохраняется сходимость к окрестности искомого множества точек со скоростью геометрической прогрессии. Второй рассматриваемый вариант острого минимума не зависит от желаемой точности задачи. Для него предложен несколько иной способ проверки продуктивности шага, позволяющий в случае точной информации гарантировать сходимость метода к точному решению со скоростью геометрической прогрессии. Доказаны оценки сходимости в условиях слабой выпуклости ограничений и некоторых ограничениях на выбор начальной точки, а также сформулирован результат-следствие для выпуклого случая, когда необходимость дополнительного предположения о выборе начальной точки пропадает. Для обоих подходов доказано убывание расстояния от текущей точки до множества решений с ростом количества итераций. Это, в частности, позволяет ограничить требования используемых свойств функций (липшицевость, острый минимум) лишь для ограниченного множества. Выполнены вычислительные эксперименты, в том числе для задачи проектирования механических конструкций.
Ключевые слова: субградиентный метод, липшицева функция, острый минимум, шаг Б. Т. Поляка, квазивыпуклая функция, слабовыпуклая функция.
Subgradient methods with B.T. Polyak-type step for quasiconvex minimization problems with inequality constraints and analogs of the sharp minimum
Computer Research and Modeling, 2024, v. 16, no. 1, pp. 105-122In this paper, we consider two variants of the concept of sharp minimum for mathematical programming problems with quasiconvex objective function and inequality constraints. It investigated the problem of describing a variant of a simple subgradient method with switching along productive and non-productive steps, for which, on a class of problems with Lipschitz functions, it would be possible to guarantee convergence with the rate of geometric progression to the set of exact solutions or its vicinity. It is important that to implement the proposed method there is no need to know the sharp minimum parameter, which is usually difficult to estimate in practice. To overcome this problem, the authors propose to use a step adjustment procedure similar to that previously proposed by B. T. Polyak. However, in this case, in comparison with the class of problems without constraints, it arises the problem of knowing the exact minimal value of the objective function. The paper describes the conditions for the inexactness of this information, which make it possible to preserve convergence with the rate of geometric progression in the vicinity of the set of minimum points of the problem. Two analogs of the concept of a sharp minimum for problems with inequality constraints are considered. In the first one, the problem of approximation to the exact solution arises only to a pre-selected level of accuracy, for this, it is considered the case when the minimal value of the objective function is unknown; instead, it is given some approximation of this value. We describe conditions on the inexact minimal value of the objective function, under which convergence to the vicinity of the desired set of points with a rate of geometric progression is still preserved. The second considered variant of the sharp minimum does not depend on the desired accuracy of the problem. For this, we propose a slightly different way of checking whether the step is productive, which allows us to guarantee the convergence of the method to the exact solution with the rate of geometric progression in the case of exact information. Convergence estimates are proved under conditions of weak convexity of the constraints and some restrictions on the choice of the initial point, and a corollary is formulated for the convex case when the need for an additional assumption on the choice of the initial point disappears. For both approaches, it has been proven that the distance from the current point to the set of solutions decreases with increasing number of iterations. This, in particular, makes it possible to limit the requirements for the properties of the used functions (Lipschitz-continuous, sharp minimum) only for a bounded set. Some computational experiments are performed, including for the truss topology design problem.
Журнал индексируется в Scopus
Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU
Журнал входит в систему Российского индекса научного цитирования.
Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science
Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"