Все выпуски

Многомерные данные, при использовании значительно большего количества признаков относительно меньшего числа наблюдений, порождают хорошо известную проблему переопределённой задачи. В связи с этим, представляется целесообразным описание данных в терминах меньшего числа мета-признаков, которые вычисляются при помощи так называемых матричных факторизаций. Такие факторизации способствуют уменьшению случайного шума при сохранении наиболее существенной информации. Три новых и взаимосвязанных метода предложены в этой статье: 1) факторизационный механизм градиентного спуска с двумя (согласно размерности микрочипа) гибкими и адаптируемыми параметрами обучения, включая явные формулы их автоматического пересчета, 2) непараметрический критерий для отбора количества факторов, и 3) неотрицательная модификация градиентной факторизации, которая не требует дополнительных вычислительных затрат в сравнении с базовой моделью. Мы иллюстрируем эффективность предложенных методов в приложении к задаче направляемой классификации данных в области биоинформатики.

Microarray datasets are highly dimensional, with a small number of collected samples in comparison to thousands of features. This poses a significant challenge that affects the interpretation, applicability and validation of the analytical results. Matrix factorizations have proven to be a useful method for describing data in terms of a small number of meta-features, which reduces noise, while still capturing the essential features of the data. Three novel and mutually relevant methods are presented in this paper: 1) gradient-based matrix factorization with two adaptive learning rates (in accordance with the number of factor matrices) and their automatic updates; 2) nonparametric criterion for the selection of the number of factors; and 3) nonnegative version of the gradient-based matrix factorization which doesn't require any extra computational costs in difference to the existing methods. We demonstrate effectiveness of the proposed methods to the supervised classification of gene expression data.

В работе представлена новая версия программного комплекса FlowVision, предназначенного для автоматизации инженерных расчетов в области вычислительной гидродинамики: FlowVision 3.09.05. Программный комплекс (ПК) FlowVision используется для решения различных прикладных задач в различных областях промышленности. Его популярность основана на том, что он позволяет решать сложные нетрадиционные задачи, находящиеся на стыке различных дисциплин, с одной стороны, и, с другой стороны, на парадигме полной автоматизации таких трудоемких для инженера процессов, как построение расчетной сетки. FlowVision — это программный комплекс, полностью отчуждаемый от разработчиков. Он имеет развитый графический интерфейс, систему задания расчетного проекта и систему визуализации течений различными методами — от построения контуров (для скалярных переменных) и векторов (для векторных переменных) на плоскостях и поверхностях до объемной визуализации расчетных данных. Кроме этого, ПК FlowVision предоставляет пользователю возможность вычислять интегральные характеристики на поверхностях и в ограниченных объемах.

ПК основан на конечно-объемном подходе к аппроксимации основных уравнений движения жидкости. В нем реализованы явный и неявный методы решения этих уравнений. ПК имеет автоматический построитель неструктурированной сетки с возможностью ее локальной динамической адаптации. В ПК реализован двухуровневый параллелизм, позволяющий эффективно проводить расчеты на компьютерах, имеющих распределенную и общую память одновременно. FlowVision обладает широким спектром физико-математических моделей: турбулентности (URANS, LES, ILES), горения, массопереноса с учетом химических превращений и радиоактивного распада, электрогидродинамики.

FlowVision позволяет решать задачи движения жидкостей со скоростями, соответствующими несжимаемому или гиперзвуковому режимам за счет использования все-скоростного метода расщепления по физическим переменным для решения уравнений Навье–Стокса. FlowVision позволяет решать междисциплинарные задачи с использованием различных средств моделирования, например: моделировать многофазные течения методом VOF, обтекание подвижных тел с помощью эйлерова подхода при неподвижной расчетной сетке, моделировать вращающиеся машины с использованием метода скользящей сетки, решать задачи взаимодействия жидкости и конструкций методом двухстороннего сопряжения FlowVision с конечно-элементными кодами. В данной работе показаны примеры решения задач-вызовов: a) посадка космического корабля на воду при торможении ракетными двигателями, где есть граница раздела «воздух–вода», подвижные тела и взаимодействие сверхзвуковой струи газа с границей раздела «вода–воздух»; б) моделирование работы человеческого сердца с искусственными и живыми клапанами, спроектированными на базе томографических исследований, с использованием двухстороннего сопряжения «жидкостной» расчетной области с конечно-элементной моделью мышц сердца.

The work submits new release of the FlowVision software designed for automation of engineering calculations in computational fluid dynamics: FlowVision 3.09.05. The FlowVision software is used for solving different industrial problems. Its popularity is based on the capability to solve complex non-tradition problems involving different physical processes. The paradigm of complete automation of labor-intensive and time-taking processes like grid generation makes FlowVision attractive for many engineers. FlowVision is completely developer-independent software. It includes an advanced graphical interface, the system for specifying a computational project as well as the system for flow visualization on planes, on curvilinear surfaces and in volume by means of different methods: plots, color contours, iso-lines, iso-surfaces, vector fields. Besides that, FlowVision provides tools for calculation of integral characteristics on surfaces and in volumetric regions.

The software is based on the finite-volume approach to approximation of the partial differential equations describing fluid motion and accompanying physical processes. It provides explicit and implicit methods for time integration of these equations. The software includes automated generator of unstructured grid with capability of its local dynamic adaptation. The solver involves two-level parallelism which allows calculations on computers with distributed and shared memory (coexisting in the same hardware). FlowVision incorporates a wide spectrum of physical models: different turbulence models, models for mass transfer accounting for chemical reactions and radioactive decay, several combustion models, a dispersed phase model, an electro-hydrodynamic model, an original VOF model for tracking moving interfaces. It should be noted that turbulence can be simulated within URANS, LES, and ILES approaches. FlowVision simulates fluid motion with velocities corresponding to all possible flow regimes: from incompressible to hypersonic. This is achieved by using an original all-speed velocity-pressure split algorithm for integration of the Navier-Stokes equations.

FlowVision enables solving multi-physic problems with use of different modeling tools. For instance, one can simulate multi-phase flows with use of the VOF method, flows past bodies moving across a stationary grid (within Euler approach), flows in rotary machines with use of the technology of sliding grid. Besides that, the software solves fluid-structure interaction problems using the technology of two-way coupling of FlowVision with finite-element codes. Two examples of solving challenging problems in the FlowVision software are demonstrated in the given article. The first one is splashdown of a spacecraft after deceleration by means of jet engines. This problem is characterized by presence of moving bodies and contact surface between the air and the water in the computational domain. The supersonic jets interact with the air-water interphase. The second problem is simulation of the work of a human heart with artificial and natural valves designed on the basis of tomographic investigations with use of a finite-element model of the heart. This problem is characterized by two-way coupling between the “liquid” computational domain and the finite-element model of the hart muscles.

Задача выпуклой онлайн-оптимизации естественно возникают в случаях, когда имеет место обновления статистической информации. Для задач негладкой оптимизации хорошо известен метод зеркального спуска. Зеркальный спуск — это расширение субградиентного метода для решения негладких выпуклых задач оптимизации на случай неевкидова расстояния. Работа посвящена стохастическим аналогам недавно предложенных методов зеркального спуска для задач выпуклой онлайн-оптимизации с выпуклыми липшицевыми (вообще говоря, негладкими) функциональными ограничениями. Это означает, что вместо (суб)градиента целевого функционала и функционального ограничения мы используем их стохастические (суб)градиенты. Точнее говоря, допустим, что на замкнутом подмножестве $n$-мерного векторного пространства задано $N$ выпуклых липшицевых негладких функционалов. Рассматривается задача минимизации среднего арифметического этих функционалов с выпуклым липшицевым ограничением. Предложены два метода для решения этой задачи с использованием стохастических (суб)градиентов: адаптивный (не требует знания констант Липшица ни для целевого функционала, ни для ограничения), а также неадаптивный (требует знания константы Липшица для целевого функционала и ограничения). Отметим, что разрешено вычислять стохастический (суб)градиент каждого целевого функционала только один раз. В случае неотрицательного регрета мы находим, что количество непродуктивных шагов равно $O$($N$), что указывает на оптимальность предложенных методов. Мы рассматриваем произвольную прокс-структуру, что существенно для задач принятия решений. Приведены результаты численных экспериментов, позволяющие сравнить работу адаптивного и неадаптивного методов для некоторых примеров. Показано, что адаптивный метод может позволить существенно улучшить количество найденного решения.

The problem of online convex optimization naturally occurs in cases when there is an update of statistical information. The mirror descent method is well known for non-smooth optimization problems. Mirror descent is an extension of the subgradient method for solving non-smooth convex optimization problems in the case of a non-Euclidean distance. This paper is devoted to a stochastic variant of recently proposed Mirror Descent methods for convex online optimization problems with convex Lipschitz (generally, non-smooth) functional constraints. This means that we can still use the value of the functional constraint, but instead of (sub)gradient of the objective functional and the functional constraint, we use their stochastic (sub)gradients. More precisely, assume that on a closed subset of $n$-dimensional vector space, $N$ convex Lipschitz non-smooth functionals are given. The problem is to minimize the arithmetic mean of these functionals with a convex Lipschitz constraint. Two methods are proposed, for solving this problem, using stochastic (sub)gradients: adaptive method (does not require knowledge of Lipschitz constant neither for the objective functional, nor for the functional of constraint) and non-adaptivemethod (requires knowledge of Lipschitz constant for the objective functional and the functional of constraint). Note that it is allowed to calculate the stochastic (sub)gradient of each functional only once. In the case of non-negative regret, we find that the number of non-productive steps is $O$($N$), which indicates the optimality of the proposed methods. We consider an arbitrary proximal structure, which is essential for decisionmaking problems. The results of numerical experiments are presented, allowing to compare the work of adaptive and non-adaptive methods for some examples. It is shown that the adaptive method can significantly improve the number of the found solutions.

В данной работе рассматривается возможность применения концепции $(\delta, L)$-модели функции для оптимизационных задач, в которых посредством решения прямой задачи имеется необходимость восстанавливать решение двойственной задачи. Концепция $(\delta, L)$-модели основана на концепции $(\delta, L)$-оракула, предложенной Деволдером–Глинером–Нестеровым, при этом данные авторы предложили фукнционалы в оптимизационных задачах аппроксимировать сверху выпуклой параболой с некоторым аддитивным шумом $\delta$; таким образом, им удалось получить квадратичные верхние оценки с шумом даже для негладких функционалов. Концепция $(\delta, L)$-модели продолжает эту идею за счет того, что аппроксимация сверху делается не выпуклой параболой, а некоторым более сложным выпуклым функционалом. Возможность восстанавливать решение двойственной задачи хорошо зарекомендовала себя, так как во многих случаях в прямой задаче можно значительно быстрее находить решение, чем в двойственной. Отметим, что прямо-двойственные методы хорошо изучены, но при этом, как правило, каждый метод предлагается под конкретный класс задач. Наша же цель — предложить метод, который бы включал в себя сразу различные методы. Это реализуется за счет использования концепции $(\delta, L)$-модели и адаптивной структуры наших методов. Таким образом, нам удалось получить прямо-двойственный адаптивный градиентный метод и быстрый градиентный метод с $(\delta, L)$-моделью и доказать оценки сходимости для них, причем для некоторых классов задач данные оценки являются оптимальными. Основная идея заключается в том, что нахождение двойственных решений происходит относительно оптимизационной задачи, которая аппроксимируют прямую с помощью концепции $(\delta, L)$-модели и имеет более простую структуру, поэтому находить двойственное решение у нее проще. Стоит отметить, что это происходит на каждом шаге работы оптимизационного метода; таким образом, реализуется принцип «разделяй и властвуй».

In this work we consider a possibility to use the conception of $(\delta, L)$-model of a function for optimization tasks, whereby solving a primal problem there is a necessity to recover a solution of a dual problem. The conception of $(\delta, L)$-model is based on the conception of $(\delta, L)$-oracle which was proposed by Devolder–Glineur–Nesterov, herewith the authors proposed approximate a function with an upper bound using a convex quadratic function with some additive noise $\delta$. They managed to get convex quadratic upper bounds with noise even for nonsmooth functions. The conception of $(\delta, L)$-model continues this idea by using instead of a convex quadratic function a more complex convex function in an upper bound. Possibility to recover the solution of a dual problem gives great benefits in different problems, for instance, in some cases, it is faster to find a solution in a primal problem than in a dual problem. Note that primal-dual methods are well studied, but usually each class of optimization problems has its own primal-dual method. Our goal is to develop a method which can find solutions in different classes of optimization problems. This is realized through the use of the conception of $(\delta, L)$-model and adaptive structure of our methods. Thereby, we developed primal-dual adaptive gradient method and fast gradient method with $(\delta, L)$-model and proved convergence rates of the methods, moreover, for some classes of optimization problems the rates are optimal. The main idea is the following: we find a dual solution to an approximation of a primal problem using the conception of $(\delta, L)$-model. It is much easier to find a solution to an approximated problem, however, we have to do it in each step of our method, thereby the principle of “divide and conquer” is realized.

В статье рассматриваются подходы к эволюционному моделированию синтеза организованных систем и анализируются методологические проблемы эволюционных вычислений этого направления. На основе анализа работ по эволюционной кибернетике, теории эволюции, теории систем и синергетике сделан вывод о наличии открытых проблем в задачах формализации синтеза организованных систем и моделирования их эволюции. Показано, что теоретической основой для практики эволюционного моделирования являются положения синтетической теории эволюции. Рассмотрено использование виртуальной вычислительной среды для машинного синтеза алгоритмов решения задач. На основе полученных в процессе моделирования результатов сделан вывод о наличии ряда условий, принципиально ограничивающих применимость методов генетического программирования в задачах синтеза функциональных структур. К основным ограничениям относятся необходимость для фитнес-функции отслеживать поэтапное приближение к решению задачи и неприменимость данного подхода к задачам синтеза иерархически организованных систем. Отмечено, что результаты, полученные в практике эволюционного моделирования в целом за все время его существования, подтверждают вывод о принципиальной ограниченности возможностей генетического программирования при решении задач синтеза структуры организованных систем. В качестве источников принципиальных трудностей для машинного синтеза системных структур указаны отсутствие направлений для градиентного спуска при структурном синтезе и отсутствие закономерности случайного появления новых организованных структур. Сделан вывод об актуальности рассматриваемых проблем для теории биологической эволюции. Обосновано положение о биологической специфике практически возможных путей синтеза структуры организованных систем. В качестве теоретической интерпретации обсуждаемой проблемы предложено рассматривать системно-эволюционную концепцию П.К. Анохина. Процесс синтеза функциональных структур рассматривается в этом контексте как адаптивная реакция организмов на внешние условия, основанная на их способности к интегративному синтезу памяти, потребностей и информации о текущих условиях. Приведены результаты актуальных исследований, свидетельствующие в пользу данной интерпретации. Отмечено, что физические основы биологической интегративности могут быть связаны с явлениями нелокальности и несепарабельности, характерными для квантовых систем. Отмечена связь рассматриваемой в данной работе проблематики с проблемой создания сильного искусственного интеллекта.

The article provides approaches to evolutionary modelling of synthesis of organised systems and analyses methodological problems of evolutionary computations of this kind. Based on the analysis of works on evolutionary cybernetics, evolutionary theory, systems theory and synergetics, we conclude that there are open problems in formalising the synthesis of organised systems and modelling their evolution. The article emphasises that the theoretical basis for the practice of evolutionary modelling is the principles of the modern synthetic theory of evolution. Our software project uses a virtual computing environment for machine synthesis of problem solving algorithms. In the process of modelling, we obtained the results on the basis of which we conclude that there are a number of conditions that fundamentally limit the applicability of genetic programming methods in the tasks of synthesis of functional structures. The main limitations are the need for the fitness function to track the step-by-step approach to the solution of the problem and the inapplicability of this approach to the problems of synthesis of hierarchically organised systems. We note that the results obtained in the practice of evolutionary modelling in general for the whole time of its existence, confirm the conclusion the possibilities of genetic programming are fundamentally limited in solving problems of synthesizing the structure of organized systems. As sources of fundamental difficulties for machine synthesis of system structures the article points out the absence of directions for gradient descent in structural synthesis and the absence of regularity of random appearance of new organised structures. The considered problems are relevant for the theory of biological evolution. The article substantiates the statement about the biological specificity of practically possible ways of synthesis of the structure of organised systems. As a theoretical interpretation of the discussed problem, we propose to consider the system-evolutionary concept of P.K.Anokhin. The process of synthesis of functional structures in this context is an adaptive response of organisms to external conditions based on their ability to integrative synthesis of memory, needs and information about current conditions. The results of actual studies are in favour of this interpretation. We note that the physical basis of biological integrativity may be related to the phenomena of non-locality and non-separability characteristic of quantum systems. The problems considered in this paper are closely related to the problem of creating strong artificial intelligence.

Представлен итерационный алгоритм, который численно решает нелинейные одномерные несингулярные интегральные уравнения Фредгольма и Вольтерры второго рода типа Урысона. Показано, что метод последовательных приближений Пикара может быть использован при численном решении такого типа уравнений. Сходимость числовой схемы гарантируется теоремами о неподвижной точке. При этом квадратурный алгоритм основан на явной форме встроенного правила Рунге–Кутты пятого порядка с адаптивным контролем размера шага. Возможность контроля локальных ошибок квадратур позволяет создавать очень точные автоматические числовые схемы и значительно уменьшить основной недостаток итераций Пикара, а именно чрезвычайно большое количество вычислений с увеличением глубины рекурсии. Наш алгоритм организован так, что по сравнению с большинством подходов нелинейность интегральных уравнений не вызывает каких-либо дополнительных вычислительных трудностей, его очень просто применять и реализовывать в программе. Наш алгоритм демонстрирует практически важные черты универсальности. Во-первых, следует подчеркнуть, что метод столь же прост в применении к нелинейным, как и к линейным уравнениям типа Фредгольма и Вольтерры. Во-вторых, алгоритм снабжен правилами останова, по которым вычисления могут в значительной степени контролироваться автоматически. Представлен компактный C++-код описанного алгоритма. Реализация нашей программы является самодостаточной: она не требует никаких предварительных вычислений, никаких внешних функций и библиотек и не требует дополнительной памяти. Приведены числовые примеры, показывающие применимость, эффективность, надежность и точность предложенного подхода.

We present the iterative algorithm that solves numerically both Urysohn type Fredholm and Volterra nonlinear one-dimensional nonsingular integral equations of the second kind to a specified, modest user-defined accuracy. The algorithm is based on descending recursive sequence of quadratures. Convergence of numerical scheme is guaranteed by fixed-point theorems. Picard’s method of integrating successive approximations is of great importance for the existence theory of integral equations but surprisingly very little appears on numerical algorithms for its direct implementation in the literature. We show that successive approximations method can be readily employed in numerical solution of integral equations. By that the quadrature algorithm is thoroughly designed. It is based on the explicit form of fifth-order embedded Runge–Kutta rule with adaptive step-size self-control. Since local error estimates may be cheaply obtained, continuous monitoring of the quadrature makes it possible to create very accurate automatic numerical schemes and to reduce considerably the main drawback of Picard iterations namely the extremely large amount of computations with increasing recursion depth. Our algorithm is organized so that as compared to most approaches the nonlinearity of integral equations does not induce any additional computational difficulties, it is very simple to apply and to make a program realization. Our algorithm exhibits some features of universality. First, it should be stressed that the method is as easy to apply to nonlinear as to linear equations of both Fredholm and Volterra kind. Second, the algorithm is equipped by stopping rules by which the calculations may to considerable extent be controlled automatically. A compact C++-code of described algorithm is presented. Our program realization is self-consistent: it demands no preliminary calculations, no external libraries and no additional memory is needed. Numerical examples are provided to show applicability, efficiency, robustness and accuracy of our approach.

Работа посвящена исследованию возможности повышения эффективности решения задач внешней аэродинамики. Изучаются методические аспекты применения локально-адаптивных неструктурированных расчетных сеток и пристеночных функций для численного моделирования турбулентных течений около летательных аппаратов. Интегрируются осредненные по Рейнольдсу уравнения Навье–Стокса, которые замыкаются стандартной моделью турбулентности $k–\varepsilon$. Рассматривается обтекание крылового профиля RAE 2822 турбулентным дозвуковым потоком вязкого сжимаемого газа. Расчеты проводятся в программном ВГД-комплексе FlowVision. Анализируется эффективность применения технологии сглаживания диффузионных потоков и формулы Брэдшоу для турбулентной вязкости в качестве мер, повышающих точность решения аэродинамических задач на локально-адаптивных сетках. Результаты исследования показывают, что использование технологии сглаживания диффузионных потоков приводит к существенному уменьшению расхождений в величине коэффициента лобового сопротивления между результатами расчетов и экспериментальными данными. Кроме того, обеспечивается регуляризация распределения коэффициента поверхностного трения на криволинейной поверхности профиля. Эти результаты позволяют сделать вывод о том, что данная технология является эффективным способом повышения точности расчетов на локально-адаптивных сетках. Формула Брэдшоу для динамического коэффициента турбулентной вязкости традиционно используется в модели SST $k–\omega$. В настоящей работе исследуется возможность ее применения в стандартной $k–\varepsilon$-модели турбулентности. Результаты расчетов показывают, что, с одной стороны, данная формула обеспечивает хорошее согласование суммарных аэродинамических характеристик и распределения коэффициента давления по поверхности профиля с экспериментом. Помимо этого, она значительно повышает точность моделирования течения в пограничном слое и в следе. С другой стороны, использование формулы Брэдшоу при моделировании обтекания профиля RAE 2822 приводит к занижению коэффициента поверхностного трения. Поэтому в работе делается вывод о том, что практическое применение формулы Брэдшоу требует ее предварительной валидации и калибровки на надежных экспериментальных данных для рассматриваемого класса задач. Результаты работы в целом показывают, что при использовании рассмотренных технологий численное решение задач внешнего обтекания на локально-адаптивных сетках с применением пристеночных функций обеспечивает точность, приемлемую для оперативной оценки аэродинамических характеристик, а ПК FlowVision является эффективным инструментом решения задач предварительного аэродинамического проектирования, концептуального проектирования и оптимизации аэродинамических форм.

The work is dedicated to investigation of possibility to increase the efficiency of solving external aerodynamic problems. Methodical questions of using locally-adaptive grids and wall functions for numerical simulation of turbulent flows past flying vehicles are studied. Reynolds-averaged Navier–Stokes equations are integrated. The equations are closed by standard $k–\varepsilon$ turbulence model. Subsonic turbulent flow of perfect compressible viscous gas past airfoil RAE 2822 is considered. Calculations are performed in CFD software FlowVision. The efficiency of using the technology of smoothing diffusion fluxes and the Bradshaw formula for turbulent viscosity is analyzed. These techniques are regarded as means of increasing the accuracy of solving aerodynamic problems on locally-adaptive grids. The obtained results show that using the technology of smoothing diffusion fluxes essentially decreases the discrepancy between computed and experimental values of the drag coefficient. In addition, the distribution of the skin friction coefficient over the curvilinear surface of the airfoil becomes more regular. These results indicate that the given technology is an effective way to increase the accuracy of calculations on locally-adaptive grids. The Bradshaw formula for the dynamic coefficient of turbulent viscosity is traditionally used in the SST $k–\omega$ turbulence model. The possibility to implement it in the standard $k–\varepsilon$ turbulence model is investigated in the present article. The calculations show that this formula provides good agreement of integral aerodynamic characteristics and the distribution of the pressure coefficient over the airfoil surface with experimental data. Besides that, it essentially augments the accuracy of simulation of the flow in the boundary layer and in the wake. On the other hand, using the Bradshaw formula in the simulation of the air flow past airfoil RAE 2822 leads to under-prediction of the skin friction coefficient. For this reason, the conclusion is made that practical use of the Bradshaw formula requires its preliminary validation and calibration on reliable experimental data available for the considered flows. The results of the work as a whole show that using the technologies discussed in numerical solution of external aerodynamic problems on locally-adaptive grids together with wall functions provides the computational accuracy acceptable for quick assessment of the aerodynamic characteristics of a flying vehicle. So, one can deduce that the FlowVision software is an effective tool for preliminary design studies, for conceptual design, and for aerodynamic shape optimization.

В последнее время седловым задачам уделяется большое внимание благодаря их мощным возможностям моделирования для множества задач из различных областей. Приложения этих задач встречаются в многочисленных современных прикладных областях, таких как робастная оптимизация, распределенная оптимизация, теория игр и~приложения машинного обучения, такие как, например, минимизация эмпирического риска или обучение генеративно-состязательных сетей. Поэтому многие исследователи активно работают над разработкой численных методов для решения седловых задач в самых разных предположениях. Данная статья посвящена разработке численного метода решения седловых задач в невыпуклой равномерно вогнутой постановке. В этой постановке считается, что по группе прямых переменных целевая функция может быть невыпуклой, а по группе двойственных переменных задача является равномерно вогнутой (это понятие обобщает понятие сильной вогнутости). Был изучен более общий класс седловых задач со сложной композитной структурой и гёльдерово непрерывными производными высшего порядка. Для решения рассматриваемой задачи был предложен подход, при котором мы сводим задачу к комбинации двух вспомогательных оптимизационных задач отдельно для каждой группы переменных: внешней задачи минимизации и~внутренней задачи максимизации. Для решения внешней задачи минимизации мы используем адаптивный градиентный метод, который применим для невыпуклых задач, а также работает с неточным оракулом, который генерируется путем неточного решения внутренней задачи максимизации. Для решения внутренней задачи максимизации мы используем обобщенный ускоренный метод с рестартами, который представляет собой метод, объединяющий методы ускорения высокого порядка для минимизации выпуклой функции, имеющей гёльдерово непрерывные производные высшего порядка. Важной компонентой проведенного анализа сложности предлагаемого алгоритма является разделение оракульных сложностей на число вызовов оракула первого порядка для внешней задачи минимизации и оракула более высокого порядка для внутренней задачи максимизации. Более того, оценивается сложность всего предлагаемого подхода.

Recently, saddle point problems have received much attention due to their powerful modeling capability for a lot of problems from diverse domains. Applications of these problems occur in many applied areas, such as robust optimization, distributed optimization, game theory, and many applications in machine learning such as empirical risk minimization and generative adversarial networks training. Therefore, many researchers have actively worked on developing numerical methods for solving saddle point problems in many different settings. This paper is devoted to developing a numerical method for solving saddle point problems in the nonconvex uniformly-concave setting. We study a general class of saddle point problems with composite structure and H\"older-continuous higher-order derivatives. To solve the problem under consideration, we propose an approach in which we reduce the problem to a combination of two auxiliary optimization problems separately for each group of variables, the outer minimization problem w.r.t. primal variables, and the inner maximization problem w.r.t the dual variables. For solving the outer minimization problem, we use the Adaptive Gradient Method, which is applicable for nonconvex problems and also works with an inexact oracle that is generated by approximately solving the inner problem. For solving the inner maximization problem, we use the Restarted Unified Acceleration Framework, which is a framework that unifies the high-order acceleration methods for minimizing a convex function that has H\"older-continuous higher-order derivatives. Separate complexity bounds are provided for the number of calls to the first-order oracles for the outer minimization problem and higher-order oracles for the inner maximization problem. Moreover, the complexity of the whole proposed approach is then estimated.

В статье предлагается метод исследования задач оптимального управления с использованием нейронных сетей. Рассмотрение проводится на примере задачи контроля качества поверхностных вод. При моделировании системы контроля качества поверхностных вод используются теоретико-игровой и иерархический подходы. Исследуется случай динамической двухуровневой системы управления качеством поверхностных вод, включающий ведущего и нескольких ведомых. Рассмотрение ведется с точки зрения ведомых. В этом случае между ними возникает неантагонистическая игра, в которой строится равновесие Нэша. С математической точки зрения при этом решается задача оптимального управления при наличии фазовых ограничений. Для ее аналитического исследования в работе используется принцип максимума Понтрягина, на основе которого формулируются условия оптимальности. Для решения возникающих при этом систем дифференциальных уравнений используется обучаемая нейронная сеть прямого распространения (feedforward). Приводится обзор существующих методов решения подобных задач с помощью нейронных сетей и методов обучения нейронных сетей. Для оценки ошибки решения, получаемого с помощью нейронной сети, предлагается использовать метод анализа дефекта решения, адаптированный для нейронных сетей. Это позволяет получить количественную оценку ошибки численного решения. Приведены примеры использования нейросетевого подхода для решения модельной задачи оптимального управления и задачи контроля качества поверхностных вод. Полученные в этих примерах результаты сравниваются с точным решением и с результатами, полученными методом стрельбы. Во всех случаях величина ошибки оценивается методом анализа дефекта решения. Нейросетевым методом проводится также исследование системы контроля качества поверхностных вод для случаев, когда решение задачи другими методами получить не удалось (большой временной промежуток моделирования и случай нескольких агентов). В статье иллюстрируются возможность использования нейросетевого подхода для решения различных задач оптимального управления и дифференциальных игр, а также возможность количественной оценки точности решения. Полученные результаты численных экспериментов позволяют говорить о необходимости введения регулирующего органа для достижения устойчивого развития системы.

In this study we discuss methods to solve optimal control problems based on neural network techniques. We study hierarchical dynamical two-level system for surface water quality control. The system consists of a supervisor (government) and a few agents (enterprises). We consider this problem from the point of agents. In this case we solve optimal control problem with constraints. To solve this problem, we use Pontryagin’s maximum principle, with which we obtain optimality conditions. To solve emerging ODEs, we use feedforward neural network. We provide a review of existing techniques to study such problems and a review of neural network’s training methods. To estimate the error of numerical solution, we propose to use defect analysis method, adapted for neural networks. This allows one to get quantitative error estimations of numerical solution. We provide examples of our method’s usage for solving synthetic problem and a surface water quality control model. We compare the results of this examples with known solution (when provided) and the results of shooting method. In all cases the errors, estimated by our method are of the same order as the errors compared with known solution. Moreover, we study surface water quality control problem when no solutions is provided by other methods. This happens because of relatively large time interval and/or the case of several agents. In the latter case we seek Nash equilibrium between agents. Thus, in this study we show the ability of neural networks to solve various problems including optimal control problems and differential games and we show the ability of quantitative estimation of an error. From the numerical results we conclude that the presence of the supervisor is necessary for achieving the sustainable development.

Задача автоматического построения графа цитирования по коллекции научных документов сводится к решению последовательности задач распознавания. Рассматриваются методы решения, их адаптация и объединение в технологическую цепочку, приводятся результаты вычислительных экспериментов для некоторых задач.

In this paper the problem of automated building of a citation graph from a collection of scientific documents is considered as a sequence of machine learning tasks. The overall data processing technology is described which consists of six stages: preprocessing, metainformation extraction, bibliography lists extraction, splitting bibliography lists into separate bibliography records, standardization of each bibliography record, and record linkage. The goal of this paper is to provide a survey of approaches and algorithms suitable for each stage, motivate the choice of the best combination of algorithms, and adapt some of them for multilingual bibliographies processing. For some of the tasks new algorithms and heuristics are proposed and evaluated on the mixed English and Russian documents corpora.