Все выпуски

В статье описывается метод моделирования хода сукцессии лесных экосистем до климаксовой стадии с помощью построения марковской цепи. Показаны возможности метода устанавливать закономерности ходов сукцессии в собственных временах формирования лесных экосистем. В отличие от традиционных методов моделирования сукцессии на основе смен типов растительности, за переходные стадии разрабатываемой модели приняты варианты сформированности вертикальной структуры лесных сообществ и их насыщенности позднесукцессионными видами. Длительность сукцессионных ходов из любого состояния устанавливается не в абсолютных временны́х единицах, а рассчитывается по средним числам шагов до попадания в климакс в единой временнóй шкале. Выявлено свойство восстанавливающейся растительности, определенное как признак стохастической детерминированности хода автогенной сукцессии. Приведены свидетельства того, что ход и темп лесной сукцессии стохастически детерминированы внутренними особенностями пространственной и популяционной организации сообществ.

This article describes a method to model the course of forest ecosystem succession to the climax state by means of a Markov chain. In contrast to traditional methods of forest succession modelling based on changes of vegetation types, several variants of the vertical structure of communities formed by late-successional tree species are taken as the transition states of the model. Durations of succession courses from any stage are not set in absolute time units, but calculated as the average number of steps before reaching the climax in a unified time scale. The regularities of succession courses are revealed in the proper time of forest ecosystems shaping. The evidences are obtained that internal features of the spatial and population structure do stochastically determine the course and the pace of forest succession. The property of developing vegetation of forest communities is defined as an attribute of stochastic determinism in the course of autogenous succession.

Работа посвящена проблеме анализа близости популяционной системы к опасным границам, при пересечении которых в системе разрушается устойчивое сосуществование взаимодействующих популяций. В качестве причины такого разрушения рассматриваются случайные возмущения, неизбежно присутствующие в любой живой системе. Это исследование проводится на примере известной модели взаимодействия популяций хищника и жертвы, учитывающей как стабилизирующий фактор конкуренции хищника за отличные от жертвы ресурсы, так и дестабилизирующий фактор насыщения хищника. Для описания насыщения хищника используется трофическая функция Холлинга второго типа. Динамика системы исследуется в зависимости от коэффициента, характеризующего насыщение хищника, и коэффициента конкуренции хищника за отличные от жертвы ресурсы. В работе дается параметрическое описание возможных режимов динамики детерминированной модели, исследуются локальные и глобальные бифуркации и выделяются зоны устойчивого сосуществования популяций в равновесном и осцилляционном режимах. Интересной математической особенностью данной модели, впервые рассмотренной Базыкиным, является глобальная бифуркация рождения цикла из петли сепаратрисы. В работе исследуется воздействие шума на равновесный и осцилляционный режимы сосуществования популяций хищника и жертвы. Показано, что увеличение интенсивности случайных возмущений может привести к значительным деформациям этих режимов вплоть до их разрушения. Целью данной работы является разработка конструктивного вероятностного критерия близости этой стохастической системы к опасным границам. Основой предлагаемого математического подхода является техника функций стохастической чувствительности и метод доверительных областей — доверительных эллипсов, окружающих устойчивое равновесие, и доверительных полос вокруг устойчивого цикла. Размеры доверительных областей пропорциональны интенсивности шума и стохастической чувствительности исходных детерминированных аттракторов. Геометрическим критерием выхода популяционной системы из режима устойчивого сосуществования является пересечение доверительных областей и соответствующих сепаратрис детерминированной модели. Эффективность данного аналитического подхода подтверждается хорошим соответствием теоретических оценок и результатов прямого численного моделирования.

The paper is devoted to the analysis of the proximity of the population system to dangerous boundaries. An intersection of these boundaries results in the collapse of the stable coexistence of interacting populations. As a reason of such destruction one can consider random perturbations inevitably presented in any living system. This study is carried out on the example of the well-known model of interaction between predator and prey populations, taking into account both a stabilizing factor of the competition of predators for another than prey resources, and also a destabilizing saturation factor for predators. To describe the saturation of predators, we use the second type Holling trophic function. The dynamics of the system is studied as a function of the predator saturation, and the coefficient of predator competition for resources other than prey. The paper presents a parametric description of the possible dynamic regimes of the deterministic model. Here, local and global bifurcations are studied, and areas of sustainable coexistence of populations in equilibrium and the oscillation modes are described. An interesting feature of this mathematical model, firstly considered by Bazykin, is a global bifurcation of the birth of limit cycle from the separatrix loop. We study the effects of noise on the equilibrium and oscillatory regimes of coexistence of predator and prey populations. It is shown that an increase of the intensity of random disturbances can lead to significant deformations of these regimes right up to their destruction. The aim of this work is to develop a constructive probabilistic criterion for the proximity of the population stochastic system to the dangerous boundaries. The proposed approach is based on the mathematical technique of stochastic sensitivity functions, and the method of confidence domains. In the case of a stable equilibrium, this confidence domain is an ellipse. For the stable cycle, this domain is a confidence band. The size of the confidence domain is proportional to the intensity of the noise and stochastic sensitivity of the initial deterministic attractor. A geometric criterion of the exit of the population system from sustainable coexistence mode is the intersection of the confidence domain and the corresponding separatrix of the unforced deterministic model. An effectiveness of this analytical approach is confirmed by the good agreement of theoretical estimates and results of direct numerical simulations.

В работе изложены основные моменты приближения среднего поля в применении к многокомпонентным стохастическим реакционно-диффузионным системам.

Представлена изучаемая модель химической реакции — брюсселятор. Записаны кинетические уравнения реакции, учитывающие диффузию промежуточных компонент и флуктуации концентраций исходных веществ. Флуктуации моделируются как случайные гауссовы однородные и изотропные в пространстве поля, с нулевым средним и пространственной корреляционной функцией, имеющей нетривиальную структуру. В работе рассматриваются значения параметров модели, соответствующие пространственно неоднородному упорядоченному состоянию в детерминированном случае.

В работе получено одноточечное двумерное нелинейное самосогласованное уравнение Фоккера–Планка в интерпретации Стратоновича в приближении среднего поля для пространственно распределенного стохастического брюсселятора, которое описывает динамику плотности распределения вероятностей значений концентраций компонент рассматриваемой системы. Найдены значения интенсивности внешнего шума, соответствующие двум типам решений уравнения Фоккера–Планка: решению с времен- ной бимодальностью и решению с многократным чередованием одно- и бимодального видов плотности вероятностей. Проведено численное исследование динамики плотности распределения вероятностей и изучено поведение во времени дисперсий, математических ожиданий и наиболее вероятных значений концентраций компонент при различных значениях интенсивности шума и бифуркационного параметра в указанных областях параметров задачи.

Показано, что, начиная с некоторого значения интенсивности внешнего шума, внутри упорядоченной фазы зарождается беспорядок, существующий конечное время, причем чем больше шум, тем больше его время жизни. Чем дальше от точки бифуркации, тем меньше шум, который его порождает, и тем уже область значений интенсивности шума, при которых система эволюционирует к упорядоченному, но уже новому статистически стационарному состоянию. При некотором втором значении интенсивности шума возникает перемежаемость упорядоченной и разупорядоченной фаз. Увеличение интенсивности шума приводит к тому, что частота перемежаемости увеличивается.

Таким образом, показано, что сценарием шумоиндуцированного перехода «порядок–беспорядок» в изучаемой системе является перемежаемость упорядоченной и разупорядоченной фаз.

We now review the main points of mean-field approximation (MFA) in its application to multicomponent stochastic reaction-diffusion systems.

We present the chemical reaction model under study — brusselator. We write the kinetic equations of reaction supplementing them with terms that describe the diffusion of the intermediate components and the fluctuations of the concentrations of the initial products. We simulate the fluctuations as random Gaussian homogeneous and spatially isotropic fields with zero means and spatial correlation functions with a non-trivial structure. The model parameter values correspond to a spatially-inhomogeneous ordered state in the deterministic case.

In the MFA we derive single-site two-dimensional nonlinear self-consistent Fokker–Planck equation in the Stratonovich's interpretation for spatially extended stochastic brusselator, which describes the dynamics of probability distribution density of component concentration values of the system under consideration. We find the noise intensity values appropriate to two types of Fokker–Planck equation solutions: solution with transient bimodality and solution with the multiple alternation of unimodal and bimodal types of probability density. We study numerically the probability density dynamics and time behavior of variances, expectations, and most probable values of component concentrations at various noise intensity values and the bifurcation parameter in the specified region of the problem parameters.

Beginning from some value of external noise intensity inside the ordered phase disorder originates existing for a finite time, and the higher the noise level, the longer this disorder “embryo” lives. The farther away from the bifurcation point, the lower the noise that generates it and the narrower the range of noise intensity values at which the system evolves to the ordered, but already a new statistically steady state. At some second noise intensity value the intermittency of the ordered and disordered phases occurs. The increasing noise intensity leads to the fact that the order and disorder alternate increasingly.

Thus, the scenario of the noise induced order–disorder transition in the system under study consists in the intermittency of the ordered and disordered phases.

Разработан метод обнаружения неожиданно возникающих «бутылочных горлышек», которые появляются в транспортном потоке внезапно и неожиданно для водителей. Такие неожиданно возникающие бутылочные горлышки могут двигаться, если они вызваны медленно движущейся автомашиной (тип МВ), или же оставаться неподвижными, если они вызваны внезапно остановившейся автомашиной (тип SV), например, в результате аварии. На основе численного моделирования стохастической микроскопической модели транспортного потока в рамках теории трех фаз Кернера показано, что даже при использовании небольшого процента «зондирующих» (измеряющих) автомашин (FCD), случайным образом распределенных в транспортном потоке, возможно надежное обнаружение неожиданно возникающих бутылочных горлышек. Найдено, что временная зависимость вероятности прогноза бутылочных горлышек типа МВ или SV, а также точность определения их положения существенно зависят от последовательности фазовых переходов от свободного (F) к синхронизованному (S) транспортному потоку (F→S-переход) и обратных фазовых переходов (S→F-переход), а также от колебаний скорости автомашин в синхронизованном потоке вблизи бутылочного горлышка. Предлагаемая численная методика позволяет как обнаруживать неожиданно возникшее бутылочное горлышко на автомагистрали, так и различать, связано ли такое бутылочное горлышко с медленно движущейся автомашиной (МВ) или же с внезапно остановившейся автомашиной (SV).

We present a simulation methodology for the prediction of ЃgunexpectedЃh bottlenecks, i.e., the bottlenecks that occur suddenly and unexpectedly for drivers on a highway. Such unexpected bottlenecks can be either a moving bottleneck (MB) caused by a slow moving vehicle or a motionless bottleneck caused by a stopped vehicle (SV). Based on simulations of a stochastic microscopic traffic flow model in the framework of KernerЃfs three-phase traffic theory, we show that through the use of a small share of probe vehicles (FCD) randomly distributed in traffic flow the reliable prediction of ЃgunexpectedЃh bottlenecks is possible. We have found that the time dependence of the probability of MB and SV prediction as well as the accuracy of the estimation of MB and SV location depend considerably on sequences of phase transitions from free flow (F) to synchronized flow (S) (F→S transition) and back from synchronized flow to free flow (S→F transition) as well as on speed oscillations in synchronized flow at the bottleneck. In the simulation approach, the identification of F→S and S→F transitions at an unexpected bottleneck has been made in accordance with Kerner's three-phase traffic theory. The presented simulation methodology allows us both the prediction of the unexpected bottleneck that suddenly occurs on a highway and the distinguishing of the origin of the unexpected bottleneck, i.e., whether the unexpected bottleneck has occurred due to a MB or a SV.

В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

This paper presents the results of experimental validation of some structural issues concerning the practical use of methods to overcome catastrophic forgetting of neural networks. A comparison of current effective methods like EWC (Elastic Weight Consolidation) and WVA (Weight Velocity Attenuation) is made and their advantages and disadvantages are considered. It is shown that EWC is better for tasks where full retention of learned skills is required on all the tasks in the training queue, while WVA is more suitable for sequential tasks with very limited computational resources, or when reuse of representations and acceleration of learning from task to task is required rather than exact retention of the skills. The attenuation of the WVA method must be applied to the optimization step, i. e. to the increments of neural network weights, rather than to the loss function gradient itself, and this is true for any gradient optimization method except the simplest stochastic gradient descent (SGD). The choice of the optimal weights attenuation function between the hyperbolic function and the exponent is considered. It is shown that hyperbolic attenuation is preferable because, despite comparable quality at optimal values of the hyperparameter of the WVA method, it is more robust to hyperparameter deviations from the optimal value (this hyperparameter in the WVA method provides a balance between preservation of old skills and learning a new skill). Empirical observations are presented that support the hypothesis that the optimal value of this hyperparameter does not depend on the number of tasks in the sequential learning queue. And, consequently, this hyperparameter can be picked up on a small number of tasks and used on longer sequences.

Математическое и компьютерное моделирование тепловых процессов в технических системах, проводимое в настоящее время, основано на допущении, согласно которому все параметры, определяющие тепловые процессы, полностью и однозначно известны и определены, то есть являются детерминированными. Между тем практика показывает, что параметры, определяющие тепловые процессы, носят неопределенный интервально стохастический характер, что, в свою очередь, обусловливает интервально стохастический характер тепловых процессов в технической системе. Это означает, что реальные значения температуры каждого элемента в технической системе будут случайным образом распределены внутри интервалов своего изменения. Поэтому детерминированный подход к моделированию тепловых процессов, при котором получаются конкретные значения температур элементов, не позволяет адекватно рассчитывать температурные распределения в технических системах. Интервально стохастический характер параметров, определяющих тепловые процессы, обусловливается тремя группами факторов: (a) статистическим технологическим разбросом параметров элементов при изготовлении и сборке системы; (b) случайным характером факторов, обусловленных функционированием технической системы (флуктуациями токов, напряжений, мощностями потребления, температурами и скоростями потоков охлаждающей жидкости и среды внутри системы; (c) случайностью параметров окружающей среды (температурой, давлением, скоростью). Интервально стохастическая неопределенность определяющих факторов в технических системах является неустранимой, поэтому пренебрежение ею приводит к ошибкам при проектировании технических систем. В статье развивается метод, позволяющий моделировать нестационарные нелинейные интервально стохастические тепловые процессы в технических и, в частности, электронных системах при интервальной неопределенности определяющих параметров. Метод основан на получении и последующем решении уравнений для нестационарных статистических мер (математических ожиданий, дисперсий, ковариаций) распределений температуры в технической системе при заданных интервалах изменения и статистических мерах определяющих параметров. Рассмотрено применение разработанного метода к моделированию интервально стохастического теплового процесса в конкретной электронной системе.

The currently performed mathematical and computer modeling of thermal processes in technical systems is based on an assumption that all the parameters determining thermal processes are fully and unambiguously known and identified (i.e., determined). Meanwhile, experience has shown that parameters determining the thermal processes are of undefined interval-stochastic character, which in turn is responsible for the intervalstochastic nature of thermal processes in the electronic system. This means that the actual temperature values of each element in an technical system will be randomly distributed within their variation intervals. Therefore, the determinative approach to modeling of thermal processes that yields specific values of element temperatures does not allow one to adequately calculate temperature distribution in electronic systems. The interval-stochastic nature of the parameters determining the thermal processes depends on three groups of factors: (a) statistical technological variation of parameters of the elements when manufacturing and assembling the system; (b) the random nature of the factors caused by functioning of an technical system (fluctuations in current and voltage; power, temperatures, and flow rates of the cooling fluid and the medium inside the system); and (c) the randomness of ambient parameters (temperature, pressure, and flow rate). The interval-stochastic indeterminacy of the determinative factors in technical systems is irremediable; neglecting it causes errors when designing electronic systems. A method that allows modeling of unsteady interval-stochastic thermal processes in technical systems (including those upon interval indeterminacy of the determinative parameters) is developed in this paper. The method is based on obtaining and further solving equations for the unsteady statistical measures (mathematical expectations, variances and covariances) of the temperature distribution in an technical system at given variation intervals and the statistical measures of the determinative parameters. Application of the elaborated method to modeling of the interval-stochastic thermal process in a particular electronic system is considered.

Исследуется влияние промысла на структурированную рыбную популяцию в случайным образом меняющихся условиях среды обитания. Параметры популяции соответствуют массовым видам пелагических рыб дальневосточных морей северо-западной части Тихого океана (минтай, сельдь, сардина). В различных частях Мирового океана обитают похожие виды рыб. В качестве основного признака принимается различие особей по размеру. Это легко измеряемая в промысловых условиях характеристика, она достаточно хорошо определяет основные свойства особей: возраст, половозрелость, другие морфологические и физиологические особенности. Флуктуации внешней среды оказывают существенное влияние на особей в ранних стадиях развития, во взрослом состоянии наблюдающиеся изменения во внешней среде слабо влияют на жизнедеятельность особей. Характеристики промысла выбираются оптимальными с точки зрения дохода от него. Основной управляющей характеристикой промысла являются промысловые усилия. Зависимость дохода от количества промысловых усилий выбрана квадратичной в части затрат от промысла, что соответствует экономическим представлениям о росте затрат при увеличении объемов производства. Модельное исследование показывает, что структура популяции обеспечивает повышенную стабильность популяции. В процессе роста особей и их выбывания из-за естественной смертности сглаживаются колебания плотности численности, возникающие из-за сильного влияния на особей флуктуаций среды обитания на ранних стадиях развития. Сглаживающую роль играет диффузионная составляющая процессов роста. В свою очередь, промысел обладает сглаживающим воздействием по отношению к изменениям (в том числе и стохастическим) среды обитания, существенно влияющим на обилие молоди и последующую динамику обилия популяции рыб. В сравнении с оптимальным переменным по интенсивности промыслом исследован постоянный по интенсивности режим промысла. При этом оказалось, что в динамичных условиях среды и стохастической динамике численности пополнения существует постоянное по времени промысловое усилие, по эффективности близкое к оптимальному переменному промыслу. Это означает, что постоянный или слабо меняющийся по количеству промысловых усилий промысел может оказаться весьма эффективным с точки зрения дохода.

We study the influence of fishery on a structured fish population under random changes of habitat conditions. The population parameters correspond to dominant pelagic fish species of Far-Eastern seas of the northwestern part of the Pacific Ocean (pollack, herring, sardine). Similar species inhabit various parts of the Word Ocean. The species body size distribution was chosen as a main population feature. This characteristic is easy to measure and adequately defines main specimen qualities such as age, maturity and other morphological and physiological peculiarities. Environmental fluctuations have a great influence on the individuals in early stages of development and have little influence on the vital activity of mature individuals. The fishery revenue was chosen as an optimality criterion. The main control characteristic is fishing effort. We have chosen quadratic dependence of fishing revenue on the fishing effort according to accepted economic ideas stating that the expenses grow with the production volume. The model study shows that the population structure ensures the increased population stability. The growth and drop out of the individuals’ due to natural mortality smoothens the oscillations of population density arising from the strong influence of the fluctuations of environment on young individuals. The smoothing part is played by diffusion component of the growth processes. The fishery in its turn smooths the fluctuations (including random fluctuations) of the environment and has a substantial impact upon the abundance of fry and the subsequent population dynamics. The optimal time-dependent fishing effort strategy was compared to stationary fishing effort strategy. It is shown that in the case of quickly changing habitat conditions and stochastic dynamics of population replenishment there exists a stationary fishing effort having approximately the same efficiency as an optimal time-dependent fishing effort. This means that a constant or weakly varying fishing effort can be very efficient strategy in terms of revenue.

В работе на основе предложенной ранее русловой модели решена одномерная задача устойчивости песчаного дна напорного канала. Особенностью исследуемой задачи является используемое оригинальное уравнение русловых деформаций, учитывающее влияние физико-механических и гранулометрических характеристик донного материала и неровности донной поверхности при русловом анализе. Еще одной особенностью рассматриваемой задачи является учет влияния не только придонного касательного, но и нормального напряжения при изучении русловой неустойчивости. Из решения задачи устойчивости песчаного дна для напорного канала получена аналитическая зависимость, определяющая длину волны для быстрорастущих донных возмущений. Выполнен анализ полученной аналитической зависимости, показано, что она обобщает ряд известных эмпирических формул: Коулмана, Шуляка и Бэгнольда. Структура полученной аналитической зависимости указывает на существование двух гидродинамических режимов, характеризуемых числом Фруда, при которых рост донных возмущений может сильно или слабо зависеть от числа Фруда. Учитывая природную стохастичность процесса движения донных волн и наличие области определения решения со слабой зависимостью от чисел Фруда, можно сделать вывод о том, что экспериментальное наблюдение за процессом развития движения донных волн в данной области должно приводить к получению данных, имеющих существенную дисперсию, что и происходит в действительности.

In this paper on the basis of the riverbed model proposed earlier the one-dimensional stability problem of closed flow channel with sandy bed is solved. The feature of the investigated problem is used original equation of riverbed deformations, which takes into account the influence of mechanical and granulometric bed material characteristics and the bed slope when riverbed analyzing. Another feature of the discussed problem is the consideration together with shear stress influence normal stress influence when investigating the riverbed instability. The analytical dependence determined the wave length of fast-growing bed perturbations is obtained from the solution of the sandy bed stability problem for closed flow channel. The analysis of the obtained analytical dependence is performed. It is shown that the obtained dependence generalizes the row of well-known empirical formulas: Coleman, Shulyak and Bagnold. The structure of the obtained analytical dependence denotes the existence of two hydrodynamic regimes characterized by the Froude number, at which the bed perturbations growth can strongly or weakly depend on the Froude number. Considering a natural stochasticity of the waves movement process and the presence of a definition domain of the solution with a weak dependence on the Froude numbers it can be concluded that the experimental observation of the of the bed waves movement development should lead to the data acquisition with a significant dispersion and it occurs in reality.

В статье рассматривается одна из задач транспортного моделирования — поиск равновесного распределения транспортных потоков в сети. Для описания временных издержек и распределения потоков в сети, представляемой с помощью графа, используется классическая модель Бэкмана. При этом поведение агентов не является полностью рациональным, что описывается посредством введения марковской логит-динамики: в каждый момент времени водительвыбирает маршрут случайно согласно распределению Гиббса с учетом текущих временных затрат на ребрах графа. Таким образом, задача сводится к поиску стационарного распределения для данной динамики, которое является стохастическим равновесием Нэша – Вардропа в соответствующей популяционной игре загрузки транспортной сети. Так как данная игра является потенциальной, эта задача эквивалентна минимизации некоторого функционала от распределения потоков, причем стохастичностьпро является в появлении энтропийной регуляризации. Для полученной задачи оптимизации построена двойственная задача. Для ее решения применен универсальный прямо-двойственный градиентный метод. Его особенность заключается в адаптивной настройке на локальную гладкость задачи, что особенно важно при сложной структуре целевой функции и невозможности априорно оценитьг ладкость с приемлемой точностью. Такая ситуация имеет место в рассматриваемой задаче, так как свойства функции сильно зависят от транспортного графа, на который мы не накладываем сильных ограничений. В статье приводится описание алгоритма, в том числе подробно рассмотрено применение численного дифференцирования для вычисления значения и градиента целевой функции. В работе представлены теоретическая оценка времени работы алгоритма и результаты численных экспериментов на примере небольшого американского города.

We consider one of the problems of transport modelling — searching the equilibrium distribution of traffic flows in the network. We use the classic Beckman’s model to describe time costs and flow distribution in the network represented by directed graph. Meanwhile agents’ behavior is not completely rational, what is described by the introduction of Markov logit dynamics: any driver selects a route randomly according to the Gibbs’ distribution taking into account current time costs on the edges of the graph. Thus, the problem is reduced to searching of the stationary distribution for this dynamics which is a stochastic Nash – Wardrope equilibrium in the corresponding population congestion game in the transport network. Since the game is potential, this problem is equivalent to the problem of minimization of some functional over flows distribution. The stochasticity is reflected in the appearance of the entropy regularization, in contrast to non-stochastic case. The dual problem is constructed to obtain a solution of the optimization problem. The universal primal-dual gradient method is applied. A major specificity of this method lies in an adaptive adjustment to the local smoothness of the problem, what is most important in case of the complex structure of the objective function and an inability to obtain a prior smoothness bound with acceptable accuracy. Such a situation occurs in the considered problem since the properties of the function strongly depend on the transport graph, on which we do not impose strong restrictions. The article describes the algorithm including the numerical differentiation for calculation of the objective function value and gradient. In addition, the paper represents a theoretical estimate of time complexity of the algorithm and the results of numerical experiments conducted on a small American town.

В данной работе рассматриваются задачи выпуклой стохастической оптимизации, возникающие в анализе данных (минимизация функции риска), а также в математической статистике (минимизация функции правдоподобия). Такие задачи могут быть решены как онлайн-, так и офлайн-методами (метод Монте-Карло). При офлайн-подходе исходная задача заменяется эмпирической задачей — задачей минимизации эмпирического риска. В современном машинном обучении ключевым является следующий вопрос: какой размер выборки (количество слагаемых в функционале эмпирического риска) нужно взять, чтобы достаточно точное решение эмпирической задачи было решением исходной задачи с заданной точностью. Базируясь на недавних существенных продвижениях в машинном обучении и оптимизации для решения выпуклых стохастических задач на евклидовых шарах (или всем пространстве), мы рассматриваем случай произвольных шаров в $p$-нормах и исследуем, как влияет выбор параметра $p$ на оценки необходимого числа слагаемых в функции эмпирического риска.

В данной работе рассмотрены как выпуклые задачи оптимизации, так и седловые. Для сильно выпуклых задач были обобщены уже имеющиеся результаты об одинаковых размерах выборки в обоих подходах (онлайн и офлайн) на произвольные нормы. Более того, было показано, что условие сильной выпуклости может быть ослаблено: полученные результаты справедливы для функций, удовлетворяющих условию квадратичного роста. В случае когда данное условие не выполняется, предлагается использовать регуляризацию исходной задачи в произвольной норме. В отличие от выпуклых задач седловые задачи являются намного менее изученными. Для седловых задач размер выборки был получен при условии $\gamma$-роста седловой функции по разным группам переменных. Это условие при $\gamma = 1$ есть не что иное, как аналог условия острого минимума в выпуклых задач. В данной статье было показано, что размер выборки в случае острого минимума (седла) почти не зависит от желаемой точности решения исходной задачи.

In this paper, we consider convex stochastic optimization problems arising in machine learning applications (e. g., risk minimization) and mathematical statistics (e. g., maximum likelihood estimation). There are two main approaches to solve such kinds of problems, namely the Stochastic Approximation approach (online approach) and the Sample Average Approximation approach, also known as the Monte Carlo approach, (offline approach). In the offline approach, the problem is replaced by its empirical counterpart (the empirical risk minimization problem). The natural question is how to define the problem sample size, i. e., how many realizations should be sampled so that the quite accurate solution of the empirical problem be the solution of the original problem with the desired precision. This issue is one of the main issues in modern machine learning and optimization. In the last decade, a lot of significant advances were made in these areas to solve convex stochastic optimization problems on the Euclidean balls (or the whole space). In this work, we are based on these advances and study the case of arbitrary balls in the $p$-norms. We also explore the question of how the parameter $p$ affects the estimates of the required number of terms as a function of empirical risk.

In this paper, both convex and saddle point optimization problems are considered. For strongly convex problems, the existing results on the same sample sizes in both approaches (online and offline) were generalized to arbitrary norms. Moreover, it was shown that the strong convexity condition can be weakened: the obtained results are valid for functions satisfying the quadratic growth condition. In the case when this condition is not met, it is proposed to use the regularization of the original problem in an arbitrary norm. In contradistinction to convex problems, saddle point problems are much less studied. For saddle point problems, the sample size was obtained under the condition of $\gamma$-growth of the objective function. When $\gamma = 1$, this condition is the condition of sharp minimum in convex problems. In this article, it was shown that the sample size in the case of a sharp minimum is almost independent of the desired accuracy of the solution of the original problem.