Все выпуски

В статье рассматривается одна из задач транспортного моделирования — поиск равновесного распределения транспортных потоков в сети. Для описания временных издержек и распределения потоков в сети, представляемой с помощью графа, используется классическая модель Бэкмана. При этом поведение агентов не является полностью рациональным, что описывается посредством введения марковской логит-динамики: в каждый момент времени водительвыбирает маршрут случайно согласно распределению Гиббса с учетом текущих временных затрат на ребрах графа. Таким образом, задача сводится к поиску стационарного распределения для данной динамики, которое является стохастическим равновесием Нэша – Вардропа в соответствующей популяционной игре загрузки транспортной сети. Так как данная игра является потенциальной, эта задача эквивалентна минимизации некоторого функционала от распределения потоков, причем стохастичностьпро является в появлении энтропийной регуляризации. Для полученной задачи оптимизации построена двойственная задача. Для ее решения применен универсальный прямо-двойственный градиентный метод. Его особенность заключается в адаптивной настройке на локальную гладкость задачи, что особенно важно при сложной структуре целевой функции и невозможности априорно оценитьг ладкость с приемлемой точностью. Такая ситуация имеет место в рассматриваемой задаче, так как свойства функции сильно зависят от транспортного графа, на который мы не накладываем сильных ограничений. В статье приводится описание алгоритма, в том числе подробно рассмотрено применение численного дифференцирования для вычисления значения и градиента целевой функции. В работе представлены теоретическая оценка времени работы алгоритма и результаты численных экспериментов на примере небольшого американского города.

We consider one of the problems of transport modelling — searching the equilibrium distribution of traffic flows in the network. We use the classic Beckman’s model to describe time costs and flow distribution in the network represented by directed graph. Meanwhile agents’ behavior is not completely rational, what is described by the introduction of Markov logit dynamics: any driver selects a route randomly according to the Gibbs’ distribution taking into account current time costs on the edges of the graph. Thus, the problem is reduced to searching of the stationary distribution for this dynamics which is a stochastic Nash – Wardrope equilibrium in the corresponding population congestion game in the transport network. Since the game is potential, this problem is equivalent to the problem of minimization of some functional over flows distribution. The stochasticity is reflected in the appearance of the entropy regularization, in contrast to non-stochastic case. The dual problem is constructed to obtain a solution of the optimization problem. The universal primal-dual gradient method is applied. A major specificity of this method lies in an adaptive adjustment to the local smoothness of the problem, what is most important in case of the complex structure of the objective function and an inability to obtain a prior smoothness bound with acceptable accuracy. Such a situation occurs in the considered problem since the properties of the function strongly depend on the transport graph, on which we do not impose strong restrictions. The article describes the algorithm including the numerical differentiation for calculation of the objective function value and gradient. In addition, the paper represents a theoretical estimate of time complexity of the algorithm and the results of numerical experiments conducted on a small American town.

В данной работе рассматриваются задачи выпуклой стохастической оптимизации, возникающие в анализе данных (минимизация функции риска), а также в математической статистике (минимизация функции правдоподобия). Такие задачи могут быть решены как онлайн-, так и офлайн-методами (метод Монте-Карло). При офлайн-подходе исходная задача заменяется эмпирической задачей — задачей минимизации эмпирического риска. В современном машинном обучении ключевым является следующий вопрос: какой размер выборки (количество слагаемых в функционале эмпирического риска) нужно взять, чтобы достаточно точное решение эмпирической задачи было решением исходной задачи с заданной точностью. Базируясь на недавних существенных продвижениях в машинном обучении и оптимизации для решения выпуклых стохастических задач на евклидовых шарах (или всем пространстве), мы рассматриваем случай произвольных шаров в $p$-нормах и исследуем, как влияет выбор параметра $p$ на оценки необходимого числа слагаемых в функции эмпирического риска.

В данной работе рассмотрены как выпуклые задачи оптимизации, так и седловые. Для сильно выпуклых задач были обобщены уже имеющиеся результаты об одинаковых размерах выборки в обоих подходах (онлайн и офлайн) на произвольные нормы. Более того, было показано, что условие сильной выпуклости может быть ослаблено: полученные результаты справедливы для функций, удовлетворяющих условию квадратичного роста. В случае когда данное условие не выполняется, предлагается использовать регуляризацию исходной задачи в произвольной норме. В отличие от выпуклых задач седловые задачи являются намного менее изученными. Для седловых задач размер выборки был получен при условии $\gamma$-роста седловой функции по разным группам переменных. Это условие при $\gamma = 1$ есть не что иное, как аналог условия острого минимума в выпуклых задач. В данной статье было показано, что размер выборки в случае острого минимума (седла) почти не зависит от желаемой точности решения исходной задачи.

In this paper, we consider convex stochastic optimization problems arising in machine learning applications (e. g., risk minimization) and mathematical statistics (e. g., maximum likelihood estimation). There are two main approaches to solve such kinds of problems, namely the Stochastic Approximation approach (online approach) and the Sample Average Approximation approach, also known as the Monte Carlo approach, (offline approach). In the offline approach, the problem is replaced by its empirical counterpart (the empirical risk minimization problem). The natural question is how to define the problem sample size, i. e., how many realizations should be sampled so that the quite accurate solution of the empirical problem be the solution of the original problem with the desired precision. This issue is one of the main issues in modern machine learning and optimization. In the last decade, a lot of significant advances were made in these areas to solve convex stochastic optimization problems on the Euclidean balls (or the whole space). In this work, we are based on these advances and study the case of arbitrary balls in the $p$-norms. We also explore the question of how the parameter $p$ affects the estimates of the required number of terms as a function of empirical risk.

In this paper, both convex and saddle point optimization problems are considered. For strongly convex problems, the existing results on the same sample sizes in both approaches (online and offline) were generalized to arbitrary norms. Moreover, it was shown that the strong convexity condition can be weakened: the obtained results are valid for functions satisfying the quadratic growth condition. In the case when this condition is not met, it is proposed to use the regularization of the original problem in an arbitrary norm. In contradistinction to convex problems, saddle point problems are much less studied. For saddle point problems, the sample size was obtained under the condition of $\gamma$-growth of the objective function. When $\gamma = 1$, this condition is the condition of sharp minimum in convex problems. In this article, it was shown that the sample size in the case of a sharp minimum is almost independent of the desired accuracy of the solution of the original problem.

В данной работе рассматриваются различные подходы к усреднению обобщенных цен передвижений, рассчитанных для разных способов передвижения в транспортной сети. Под способом передвижения понимается как вид транспорта, например легковой автомобиль или транспорт общего пользования, так и передвижение без использования транспорта, например пешком. Задача расчета матриц передвижений включает в себя задачу вычисления суммарных матриц, иными словами — оценку общего спроса на передвижения всеми способами, а также задачу расщепления матриц по способам передвижений, называемого также модальным расщеплением. Для расчета матриц передвижений используют гравитационные, энтропийные и иные модели, в которых вероятность передвижения между районами оценивается на основе некоторой меры удаленности этих районов друг от друга. Обычно в качестве меры дальности используется обобщенная цена передвижения по оптимальному пути между районами. Однако обобщенная цена передвижения отличается для разных способов передвижения. При расчете суммарных матриц передвижений возникает необходимость усреднения обобщенных цен по способам передвижения. К процедуре усреднения предъявляется естественное требование монотонности по всем аргументам. Этому требованию не удовлетворяют некоторые часто применяемые на практике способы усреднения, например усреднение с весами. Задача модального расщепления решается применением методов теории дискретного выбора. В частности, в рамках теории дискретного выбора разработаны корректные методы усреднения полезности альтернатив, монотонные по всем аргументам. Авторы предлагают некоторую адаптацию методов теории дискретного выбора для применения к вычислению усредненной цены передвижений в гравитационной и энтропийной моделях. Перенос формул усреднения из контекста модели модального расщепления в модель расчета матриц передвижений требует ввода новых параметров и вывода условий на возможное значение этих параметров, что и было проделано в данной статье. Также были рассмотрены вопросы перекалибровки гравитационной функции, необходимой при переходе на новый метод усреднения, если имеющаяся функция откалибрована с учетом использования средневзвешенной цены. Предложенные методики были реализованы на примере небольшого фрагмента транспортной сети. Приведены результаты расчетов, демонстрирующие преимущество предложенных методов.

This paper considers various approaches to averaging the generalized travel costs calculated for different modes of travel in the transportation network. The mode of transportation is understood to mean both the mode of transport, for example, a car or public transport, and movement without the use of transport, for example, on foot. The task of calculating the trip matrices includes the task of calculating the total matrices, in other words, estimating the total demand for movements by all modes, as well as the task of splitting the matrices according to the mode, also called modal splitting. To calculate trip matrices, gravitational, entropy and other models are used, in which the probability of movement between zones is estimated based on a certain measure of the distance of these zones from each other. Usually, the generalized cost of moving along the optimal path between zones is used as a distance measure. However, the generalized cost of movement differs for different modes of movement. When calculating the total trip matrices, it becomes necessary to average the generalized costs by modes of movement. The averaging procedure is subject to the natural requirement of monotonicity in all arguments. This requirement is not met by some commonly used averaging methods, for example, averaging with weights. The problem of modal splitting is solved by applying the methods of discrete choice theory. In particular, within the framework of the theory of discrete choice, correct methods have been developed for averaging the utility of alternatives that are monotonic in all arguments. The authors propose some adaptation of the methods of the theory of discrete choice for application to the calculation of the average cost of movements in the gravitational and entropy models. The transfer of averaging formulas from the context of the modal splitting model to the trip matrix calculation model requires the introduction of new parameters and the derivation of conditions for the possible value of these parameters, which was done in this article. The issues of recalibration of the gravitational function, which is necessary when switching to a new averaging method, if the existing function is calibrated taking into account the use of the weighted average cost, were also considered. The proposed methods were implemented on the example of a small fragment of the transport network. The results of calculations are presented, demonstrating the advantage of the proposed methods.

В работе рассматриваются интегро-дифференциальные уравнения влагопереноса дробного порядка с оператором Бесселя. Изучаемые уравнения содержат оператор Бесселя, два оператора дробного дифференцирования Герасимова – Капуто с разными порядками $\alpha$ и $\beta$. Рассмотрены два вида интегро-дифференциальных уравнений: в первом случае уравнение содержит нелокальный источник, т.е. интеграл от неизвестной функции по переменной интегрирования $x$, а во втором — случае интеграл по временной переменной $\tau$, обозначающий эффект памяти. Подобные задачи возникают при изучении процессов с предысторией. Для решения дифференциальных задач при различных соотношениях $\alpha$ и $\beta$ получены априорные оценки в дифференциальной форме, откуда следуют единственность и устойчивость решения по правой части и начальным данным. Для приближенного решения поставленных задач построены разностные схемы с порядком аппроксимации $O(h^2+\tau^2)$ при $\alpha=\beta$ и $O(h^2+\tau^{2-\max\{\alpha,\beta\}})$ при $\alpha\neq\beta$. Исследование единственности, устойчивости и сходимости решения проводится с помощью метода энергетических неравенств. Получены априорные оценки решений разностных задач при различных соотношениях $\alpha$ и $\beta$, откуда следуют единственность и устойчивость, а также сходимость решения разностной схемы к решению исходной дифференциальной задачи со скоростью равной порядку аппроксимации разностной схемы.

The paper considers integro-differential equations of fractional order moisture transfer with the Bessel operator. The studied equations contain the Bessel operator, two Gerasimov – Caputo fractional differentiation operators with different orders $\alpha$ and $\beta$. Two types of integro-differential equations are considered: in the first case, the equation contains a non-local source, i.e. the integral of the unknown function over the integration variable $x$, and in the second case, the integral over the time variable τ, denoting the memory effect. Similar problems arise in the study of processes with prehistory. To solve differential problems for different ratios of $\alpha$ and $\beta$, a priori estimates in differential form are obtained, from which the uniqueness and stability of the solution with respect to the right-hand side and initial data follow. For the approximate solution of the problems posed, difference schemes are constructed with the order of approximation $O(h^2+\tau^2)$ for $\alpha=\beta$ and $O(h^2+\tau^{2-\max\{\alpha,\beta\}})$ for $\alpha\neq\beta$. The study of the uniqueness, stability and convergence of the solution is carried out using the method of energy inequalities. A priori estimates for solutions of difference problems are obtained for different ratios of $\alpha$ and $\beta$, from which the uniqueness and stability follow, as well as the convergence of the solution of the difference scheme to the solution of the original differential problem at a rate equal to the order of approximation of the difference scheme.

Работа посвящена проблеме анализа эффектов, связанных с воздействием аддитивного и параметрического шума на процессы, происходящие в нервной клетке. Это исследование проводится на примере известной модели Моррис–Лекара, которая описывается двумерной системой обыкновенных дифференциальных уравнений. Одним из основных свойств нейрона является возбудимость — способность отвечать на внешнее воздействие резким изменением электрического потенциала на мембране клетки. В данной статье рассматривается набор параметров, при котором модель демонстрирует возбудимость класса 2. Динамика системы исследуется при изменении параметра внешнего тока. Рассматриваются две параметрические зоны: зона моностабильности, в которой единственным аттрактором детерминированной системы является устойчивое равновесие, и зона бистабильности, характеризующаяся сосуществованием устойчивого равновесия и предельного цикла. Показывается, что в обоих случаях под действием шума в системе генерируются колебания смешанных мод (т. е. чередование колебаний малых и больших амплитуд). В зоне моностабильности данный феномен связан с высокой возбудимостью системы, а в зоне бистабильности он объясняется индуцированными шумом переходами между аттракторами. Это явление подтверждается изменениями плотности распределения случайных траекторий, спектральной плотности и статистиками межспайковых интервалов. Проводится сравнение действия аддитивного и параметрического шума. Показывается, что при добавлении параметрического шума стохастическая генерация колебаний смешанных мод наблюдается при меньших интенсивностях, чем при воздействии аддитивного шума. Для количественного анализа этих стохастических феноменов предлагается и применяется подход, основанный на технике функций стохастической чувствительности и методе доверительных областей. В случае устойчивого равновесия это эллипс, а для устойчивого предельного цикла такой областью является доверительная полоса. Исследование взаимного расположения доверительных областей и границы, разделяющей бассейны притяжения аттракторов, при изменении параметров шума позволяет предсказать возникновение индуцированных шумом переходов. Эффективность данного аналитического подхода подтверждается хорошим соответствием теоретических оценок с результатами прямого численного моделирования.

This paper is devoted to the analysis of the effect of additive and parametric noise on the processes occurring in the nerve cell. This study is carried out on the example of the well-known Morris – Lecar model described by the two-dimensional system of ordinary differential equations. One of the main properties of the neuron is the excitability, i.e., the ability to respond to external stimuli with an abrupt change of the electric potential on the cell membrane. This article considers a set of parameters, wherein the model exhibits the class 2 excitability. The dynamics of the system is studied under variation of the external current parameter. We consider two parametric zones: the monostability zone, where a stable equilibrium is the only attractor of the deterministic system, and the bistability zone, characterized by the coexistence of a stable equilibrium and a limit cycle. We show that in both cases random disturbances result in the phenomenon of the stochastic generation of mixed-mode oscillations (i. e., alternating oscillations of small and large amplitudes). In the monostability zone this phenomenon is associated with a high excitability of the system, while in the bistability zone, it occurs due to noise-induced transitions between attractors. This phenomenon is confirmed by changes of probability density functions for distribution of random trajectories, power spectral densities and interspike intervals statistics. The action of additive and parametric noise is compared. We show that under the parametric noise, the stochastic generation of mixed-mode oscillations is observed at lower intensities than under the additive noise. For the quantitative analysis of these stochastic phenomena we propose and apply an approach based on the stochastic sensitivity function technique and the method of confidence domains. In the case of a stable equilibrium, this confidence domain is an ellipse. For the stable limit cycle, this domain is a confidence band. The study of the mutual location of confidence bands and the boundary separating the basins of attraction for different noise intensities allows us to predict the emergence of noise-induced transitions. The effectiveness of this analytical approach is confirmed by the good agreement of theoretical estimations with results of direct numerical simulations.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

В работе выделены два значимых геометрических параметра, влияющих на интерполяцию физических величин, в методе гидродинамики сглаженных частиц (SPH). Это коэффициент сглаживания, связывающий размер частицы с величиной радиуса сглаживания, и коэффициент объема, позволяющий корректно определять массу частицы при заданном распределении частиц в среде.

Предложена методика оценки влияния означенных параметров на точность интерполяций в методе SPH при решении гидростатической задачи. Для оценки точности численного решения вводятся аналитические функции относительной погрешности восстановления плотности и градиента давления в среде. Функции погрешности зависят от коэффициента сглаживания и коэффициента объема. Выбор конкретной интерполяции метода SPH позволяет преобразовать дифференциальную форму функций погрешности к форме алгебраического полинома. Корни такого полинома дают значения коэффициента сглаживания, обеспечивающие минимальную погрешность соответствующей интерполяции при заданном коэффициенте объема.

В работе осуществлены вывод и анализф ункций относительных погрешностей плотности и градиента давления на выборке популярных ядер с различными радиусами сглаживания. Установлено, что для всех рассмотренных ядер не существует общего значения коэффициента сглаживания, обеспечивающего минимальную погрешность обеих SPH-интерполяций. Выделены представители ядер с различными радиусами сглаживания, позволяющие обеспечить наименьшие погрешности SPH-интерполяций при решении гидростатической задачи. Также определены некоторые ядра, не позволяющие обеспечить корректное интерполирование при решении гидростатической задачи методом SPH.

The two significant geometric parameters are proposed that affect the physical quantities interpolation in the smoothed particle hydrodynamics method (SPH). They are: the smoothing coefficient which the particle size and the smoothing radius are connecting and the volume coefficient which determine correctly the particle mass for a given particles distribution in the medium.

In paper proposes a technique for these parameters influence assessing on the SPH method interpolations accuracy when the hydrostatic problem solving. The analytical functions of the relative error for the density and pressure gradient in the medium are introduced for the accuracy estimate. The relative error functions are dependent on the smoothing factor and the volume factor. Designating a specific interpolation form in SPH method allows the differential form of the relative error functions to the algebraic polynomial form converting. The root of this polynomial gives the smoothing coefficient values that provide the minimum interpolation error for an assigned volume coefficient.

In this work, the derivation and analysis of density and pressure gradient relative errors functions on a sample of popular nuclei with different smoothing radius was carried out. There is no common the smoothing coefficient value for all the considered kernels that provides the minimum error for both SPH interpolations. The nuclei representatives with different smoothing radius are identified which make it possible the smallest errors of SPH interpolations to provide when the hydrostatic problem solving. As well, certain kernels with different smoothing radius was determined which correct interpolation do not allow provide when the hydrostatic problem solving by the SPH method.

Актин — консервативный структурный белок, который экспрессируется в клетках всех эукариот. При полимеризации он образует длинные нити фибриллярного актина, или F-актина, которые участвуют в формировании цитоскелета, в мышечном сокращении и его регуляции, а также во многих других процессах. Динамические и механические свойства актина важны для взаимодействия с другими белками и реализации его многочисленных функций в клетке. Мы провели молекулярно-динамические (МД) расчеты сегмента актиновой нити, состоящего из 24 мономеров, в отсутствие и в присутствии MgADP, с явным учетом растворителя и при физиологи- ческой ионной силе при 300 К длительностью 204,8 нс в силовых полях AMBER99SB-ILDN и CHARMM36 в программной среде GROMACS, используя в качестве исходной структуры современные структурные модели, полученные методом криоэлектронной микроскопии высокого разрешения. МД-расчеты показали, что стационарный режим флуктуаций структуры длинного сегмента F-актина вырабатывается через 80–100 нс после начала МД-траектории. По результатам МД-расчетов оценили основные параметры спирали актина и ее изгибную, продольную и торсионную жесткости, используя участок расчетной модели, достаточно далеко отстоящий от ее концов. Оцененные значения шага (2,72–2,75 нм) и угла (165–168^◦) спирали F-актина, его изгибной (2,8–4,7 · 10⁻²⁶ Н · м²), продольной (36–47 · 10⁻⁹ Н) и торсионной (2,6–3,1 · 10⁻²⁶ Н · м²) жесткости хорошо согласуются с результатами наиболее надежных экспериментов. Результаты МД-расчетов показали, что современные структурные модели F-актина позволяют достаточно аккуратно описать его динамику и механические свойства при условии использования расчет- ных моделей, содержащих достаточно большое количество мономеров, современных силовых полей и относительно длинных МД-траекторий. Включение в МД-модели белков-партнеров актина, в частности тропомиозина и тропонина, может помочь понять молекулярные механизмы таких важных процессов, как регуляция мышечного сокращения.

Actin is a conserved structural protein that is expressed in all eukaryotic cells. When polymerized, it forms long filaments of fibrillar actin, or F-actin, which are involved in the formation of the cytoskeleton, in muscle contraction and its regulation, and in many other processes. The dynamic and mechanical properties of actin are important for interaction with other proteins and the realization of its numerous functions in the cell. We performed 204.8 ns long molecular dynamics (MD) simulations of an actin filament segment consisting of 24 monomers in the absence and the presence of MgADP at 300 K in the presence of a solvent and at physiological ionic strength using the AMBER99SBILDN and CHARMM36 force fields in the GROMACS software environment, using modern structural models as the initial structure obtained by high-resolution cryoelectron microscopy. MD calculations have shown that the stationary regime of fluctuations in the structure of the F-actin long segment is developed 80–100 ns after the start of the MD trajectory. Based on the results of MD calculations, the main parameters of the actin helix and its bending, longitudinal, and torsional stiffness were estimated using a section of the calculation model that is far enough away from its ends. The estimated subunit axial (2.72–2.75 nm) and angular (165–168^◦) translation of the F-actin helix, its bending (2.8–4.7 · 10⁻²⁶ N·m²), longitudinal (36–47·10⁻⁹ N), and torsional (2.6–3.1·10⁻²⁶ N·m²) stiffness are in good agreement with the results of the most reliable experiments. The results of MD calculations have shown that modern structural models of F-actin make it possible to accurately describe its dynamics and mechanical properties, provided that computational models contain a sufficiently large number of monomers, modern force fields, and relatively long MD trajectories are used. The inclusion of actin partner proteins, in particular, tropomyosin and troponin, in the MD model can help to understand the molecular mechanisms of such important processes as the regulation of muscle contraction.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

Ход и исход боя в значительной степени зависят от морального духа войск, характеризуемого процентом потерь (убитых и раненых), при котором войска еще продолжают сражаться. Всякий бой есть психологический акт, заканчивающийся отказом от него одной из сторон. Обычно в моделях боя психологический фактор учитывают в решении уравнений Ланчестера (условие равенства сил, когда численность одной из сторон обращается в ноль). При этом подчеркивается, что модели ланчестеровского типа удовлетворительно описывают динамику боя только на начальных его стадиях. Для разрешения данного противоречия предложено использовать модификацию уравнений Ланчестера, учитывающую тот факт, что в любой момент боя по противнику ведут огонь не пораженные и не отказавшиеся от сражения бойцы. Полученные дифференциальные уравнения решаются численным методом и позволяют в динамике учитывать влияние психологического фактора и оценивать время завершения конфликта. Вычислительные эксперименты подтверждают известный из военной теории факт, что бой обычно заканчивается отказом бойцов одной из сторон от его продолжения (уклонение от боя в различных формах). Наряду с моделями временно́й и пространственной динамики предложено ис- пользовать модификацию функции технологии конфликта С. Скапердаса, основанную на учете принципов боя. Для оценки вероятности победы одной из сторон в бою учитываются проценты выдерживаемых сторонами кровавых потерь и показатель боевого превосходства. Последний является средним геометрическим параметров, характеризующих всестороннее обеспечение боя, разведку, маневр и огонь. Анализ хода и исхода ряда военных компаний последних десятилетий показал, что процент выдерживаемых военных потерь резко снизился в странах с низким уровнем рождаемости. Наличие технологического превосходства над противником не гарантирует военного успеха, особенно в случае продолжительного конфликта. В этой связи представляются актуальными дальнейшие исследования, позволяющие количественно учесть вклад психологического фактора в ход и исход боя, а также учитывать влияние социально-психологических воздействий.

The course and outcome of the battle is largely dependent on the morale of the troops, characterized by the percentage of loss in killed and wounded, in which the troops still continue to fight. Every fight is a psychological act of ending his rejection of one of the parties. Typically, models of battle psychological factor taken into account in the decision of Lanchester equations (the condition of equality of forces, when the number of one of the parties becomes zero). It is emphasized that the model Lanchester type satisfactorily describe the dynamics of the battle only in the initial stages. To resolve this contradiction is proposed to use a modification of Lanchester's equations, taking into account the fact that at any moment of the battle on the enemy firing not affected and did not abandon the battle fighters. The obtained differential equations are solved by numerical method and allow the dynamics to take into account the influence of psychological factor and evaluate the completion time of the conflict. Computational experiments confirm the known military theory is the fact that the fight usually ends in refusal of soldiers of one of the parties from its continuation (avoidance of combat in various forms). Along with models of temporal and spatial dynamics proposed to use a modification of the technology features of the conflict of S. Skaperdas, based on the principles of combat. To estimate the probability of victory of one side in the battle takes into account the interest of the maturing sides of the bloody casualties and increased military superiority.