Все выпуски

Рассматривается конечномерная оптимизационная задача, постановка которой, помимо искомых переменных, содержит параметры. Ее решение есть зависимость оптимальных значений переменных от параметров. В общем случае такие зависимости не являются функциями, поскольку могут быть неоднозначными, а в функциональном случае — быть недифференцируемыми. Кроме того, область их существования может оказаться уже области определения функций в условии задачи. Эти свойства затрудняют решение как исходной задачи, так и задач, в постановку которых входят данные зависимости. Для преодоления этих затруднений обычно применяются методы типа недифференцируемой оптимизации.

В статье предлагается альтернативный подход, позволяющий получать решения параметрических задач в форме, лишенной указанных свойств. Показывается, что такие представления могут исследоваться стандартными алгоритмами, основанными на формуле Тейлора. Данная форма есть функция, гладко аппроксимирующая решение исходной задачи. При этом величина погрешности аппроксимации регулируется специальным параметром. Предлагаемые аппроксимации строятся с помощью специальных функций, устанавливающих обратные связи между переменными и множителями Лагранжа. Приводится краткое описание этого метода для линейных задач с последующим обобщением на нелинейный случай.

Построение аппроксимации сводится к отысканию седловой точки модифицированной функции Лагранжа исходной задачи. Показывается, что необходимые условия существования такой седловой точки подобны условиям теоремы Каруша – Куна – Таккера, но не содержат в явном виде ограничений типа неравенств и условий дополняющей нежесткости. Эти необходимые условия аппроксимацию определяют неявным образом. Поэтому для вычисления ее дифференциальных характеристик используется теорема о неявных функциях. Эта же теорема применяется для уменьшения погрешности аппроксимации.

Особенности практической реализации метода функций обратных связей, включая оценки скорости сходимости к точному решению, демонстрируются для нескольких конкретных классов параметрических оптимизационных задач. Конкретно: рассматриваются задачи поиска глобального экстремума функций многих переменных и задачи на кратный экстремум (максимин-минимакс). Также рассмотрены оптимизационные задачи, возникающие при использовании многокритериальных математических моделей. Для каждого из этих классов приводятся демонстрационные примеры.

We consider a finite-dimensional optimization problem, the formulation of which in addition to the required variables contains parameters. The solution to this problem is a dependence of optimal values of variables on parameters. In general, these dependencies are not functions because they can have ambiguous meanings and in the functional case be nondifferentiable. In addition, their domain of definition may be narrower than the domains of definition of functions in the condition of the original problem. All these properties make it difficult to solve both the original parametric problem and other tasks, the statement of which includes these dependencies. To overcome these difficulties, usually methods such as non-differentiable optimization are used.

This article proposes an alternative approach that makes it possible to obtain solutions to parametric problems in a form devoid of the specified properties. It is shown that such representations can be explored using standard algorithms, based on the Taylor formula. This form is a function smoothly approximating the solution of the original problem for any parameter values, specified in its statement. In this case, the value of the approximation error is controlled by a special parameter. Construction of proposed approximations is performed using special functions that establish feedback (within optimality conditions for the original problem) between variables and Lagrange multipliers. This method is described for linear problems with subsequent generalization to the nonlinear case.

From a computational point of view the construction of the approximation consists in finding the saddle point of the modified Lagrange function of the original problem. Moreover, this modification is performed in a special way using feedback functions. It is shown that the necessary conditions for the existence of such a saddle point are similar to the conditions of the Karush – Kuhn – Tucker theorem, but do not contain constraints such as inequalities and conditions of complementary slackness. Necessary conditions for the existence of a saddle point determine this approximation implicitly. Therefore, to calculate its differential characteristics, the implicit function theorem is used. The same theorem is used to reduce the approximation error to an acceptable level.

Features of the practical implementation feedback function method, including estimates of the rate of convergence to the exact solution are demonstrated for several specific classes of parametric optimization problems. Specifically, tasks searching for the global extremum of functions of many variables and the problem of multiple extremum (maximin-minimax) are considered. Optimization problems that arise when using multicriteria mathematical models are also considered. For each of these classes, there are demo examples.

Численное решение системы уравнений высокотемпературной радиационной газовой динамики (ВРГД) является вычислительно трудоемкой задачей, так как взаимодействие излучения с веществом нелинейно и нелокально. Коэффициенты поглощения излучения зависят от температуры, а поле температур определяется как газодинамическими процессами, так и переносом излучения. Обычно для решения системы ВРГД используется метод расщепления по физическим процессам, выделяется блок решения уравнения переноса совместно с уравнением баланса энергии вещества при известных давлениях и температурах. Построенные ранее разностные схемы, используемые для решения этого блока, обладают порядками сходимости не выше второго. Так как даже на современном уровне развития вычислительной техники имеются ограничения по памяти, то для решения сложных технических задач приходится применять не слишком подробные сетки. Это повышает требования к порядку аппроксимации разностных схем. В данной работе впервые реализованы бикомпактные схемы высокого порядка аппроксимации для алгоритма совместного решения уравнения переноса излучения и уравнения баланса энергии. Предложенный метод может быть применен для решения широкого круга практических задач, так как обладает высокой точностью и подходит для решения задач с разрывами коэффициентов. Нелинейность задачи и использование неявной схемы приводит к итерационному процессу, который может медленно сходиться. В данной работе используется мультипликативный HOLO-алгоритм — метод квазидиффузии В.Я. Гольдина. Ключевая идея HOLO-алгоритмов состоит в совместном решении уравнений высокого порядка (high order, HO) и низкого порядка (low order, LO). Уравнением высокого порядка (HO) является уравнение переноса излучения, которое решается в многогрупповом приближении, далее уравнение осредняется по угловой переменной и получается система уравнений квазидиффузии в многогрупповом приближении (LO₁). Следующим этапом является осреднение по энергии, при этом получается эффективная одногрупповая система уравнений квазидиффузии (LO₂), которая решается совместно с уравнением энергии. Решения, получаемые на каждом этапе HOLO-алгоритма, оказываются тесно связанными, что в итоге приводит к ускорению сходимости итерационного процесса. Для каждого из этапов HOLO-алгоритма предложены разностные схемы, построенные методом прямых в рамках одной ячейки и обладающие четвертым порядком аппроксимации по пространству и третьим порядком по времени. Схемы для уравнения переноса были разработаны Б.В. Роговым и его коллегами, схемы для уравнений LO₁ и LO₂ разработаны авторами. Предложен аналитический тест, на котором демонстрируются заявленные порядки сходимости. Рассматриваются различные варианты постановки граничных условий и исследовано их влияние на порядок сходимости по времени и пространству.

The numerical solving of the system of high-temperature radiative gas dynamics (HTRGD) equations is a computationally laborious task, since the interaction of radiation with matter is nonlinear and non-local. The radiation absorption coefficients depend on temperature, and the temperature field is determined by both gas-dynamic processes and radiation transport. The method of splitting into physical processes is usually used to solve the HTRGD system, one of the blocks consists of a joint solving of the radiative transport equation and the energy balance equation of matter under known pressure and temperature fields. Usually difference schemes with orders of convergence no higher than the second are used to solve this block. Due to computer memory limitations it is necessary to use not too detailed grids to solve complex technical problems. This increases the requirements for the order of approximation of difference schemes. In this work, bicompact schemes of a high order of approximation for the algorithm for the joint solution of the radiative transport equation and the energy balance equation are implemented for the first time. The proposed method can be applied to solve a wide range of practical problems, as it has high accuracy and it is suitable for solving problems with coefficient discontinuities. The non-linearity of the problem and the use of an implicit scheme lead to an iterative process that may slowly converge. In this paper, we use a multiplicative HOLO algorithm named the quasi-diffusion method by V.Ya.Goldin. The key idea of HOLO algorithms is the joint solving of high order (HO) and low order (LO) equations. The high-order equation (HO) is the radiative transport equation solved in the energy multigroup approximation, the system of quasi-diffusion equations in the multigroup approximation (LO₁) is obtained by averaging HO equations over the angular variable. The next step is averaging over energy, resulting in an effective one-group system of quasi-diffusion equations (LO₂), which is solved jointly with the energy equation. The solutions obtained at each stage of the HOLO algorithm are closely related that ultimately leads to an acceleration of the convergence of the iterative process. Difference schemes constructed by the method of lines within one cell are proposed for each of the stages of the HOLO algorithm. The schemes have the fourth order of approximation in space and the third order of approximation in time. Schemes for the transport equation were developed by B.V. Rogov and his colleagues, the schemes for the LO₁ and LO₂ equations were developed by the authors. An analytical test is constructed to demonstrate the declared orders of convergence. Various options for setting boundary conditions are considered and their influence on the order of convergence in time and space is studied.

Для моделирования гравитационной конвекции жидкости, насыщающей пористую среду, развивается компактная конечно-разностная схема. На основе закона Дарси с учетом анизотропии свойств проницаемости и теплопроводности рассматривается задача для прямоугольной области в переменных «функция тока» и «температура». На границах заданы условия непроницаемости и линейный по высоте профиль температуры. При определенных соотношениях между коэффициентами обратной проницаемости и теплопроводности данная система является косимметричной, при потере устойчивости механического равновесия от него ответвляется однопараметрическое семейство стационарных конвективных режимов. Разработана численная схема с конечно-разностной аппроксимацией четвертого порядка точности по пространственным координатам и с использованием метода Рунге – Кутты. Доказано, что построенная на девятиточечном шаблоне численная схема сохраняет свойство косимметрии исходной системы. Представлены результаты численного решения спектральной задачи по определению критических чисел Рэлея, отвечающих возникновению конвективных движений. Проведено сравнение с расчетами методом второго порядка точности и на основе комбинированной разностной схемы, обеспечивающей четвертый порядок аппроксимации по вертикальной координате. Показано, что с большой точностью критические числа являются двукратными при коэффициентах, обеспечивающих свойство косимметрии. Приведены результаты вычисления конвективных режимов и спектров устойчивости стационарных решений. Дана оценка эффективности предложенной компактной схемы.

A compact finite difference scheme has been developed for modeling convection in a porous medium saturated with a fluid. We consider the problem for a rectangular domain with anisotropic permeability and thermal conductivity properties in terms of stream function and temperature deviation, taking into account Darcy's law. Boundary conditions of impenetrability and a linear distribution of temperature are set. This model is cosymmetric when certain conditions are imposed on the permeability and thermal conductivities. One parametric family of stationary convection regimes arises when mechanical equilibrium loses stability. A numerical method with a fourth-order finite difference approximation for spatial variables and a Runge – Kutta integrator for time has been developed. It has been proved that this scheme preserves cosymmetry. Numerical results for evaluating the critical Rayleigh number have been presented. We compare them with results obtained using a second-order finite-difference method. We show that critical Rayleigh numbers are repeated twice with very high accuracy, which proves cosymmetry preservation. Numerical evaluation of convective regimes and spectral properties are presented. The efficiency of the developed compact finite difference scheme on a nine-point stencil is assessed.

В обзоре представлены обновленные технологии решения двух классов линейных задач распределения ресурсов при динамично изменяющихся характеристиках систем ситуационного управления и информированности экспертов (и/или обучаемых роботов), решающих задачи. Поиск решений выполняется в интерактивном режиме вычислительного эксперимента с использованием обновляемых систем знаний о задачах, рассматриваемых как конструктивные объекты (в соответствии с методологией формализации знаний о программируемых задачах, созданной в теории S-символов). Технологии ориентированы на реализацию в виде интернет-сервисов. К первому классу отнесены задачи распределения ресурсов, решаемые методом целевого перемещения решения. Ко второму — задачи распределения одного ресурса в иерархических системах с учетом приоритетов расходных статьей, решаемые (в зависимости от заданных обязательных и ориентирующих требований к решению) или методом интервального распределения (при этом входные данные и результат представлены числовыми сегментами), или методом целевого перемещения решения. Постановки задач определяются требованиями к решениям и спецификацией их применимости, которые задает эксперт на основе результатов анализа портретов целевой и достигнутой ситуации. В отличие от известных методов решения задач распределения ресурсов как задач линейного программирования метод целевого перемещения решения нечувствителен к малым изменениям данных и позволяет находить наилучшие приближения к реализуемым решениям при несовместности системы ограничений. В технологиях распределения одного ресурса сегментное представление данных и результатов позволяет более адекватно (по сравнению с точечным представлением) отражать состояние ресурсного пространства системы и повышает практическую применимость решений. Обсуждаемые в статье технологии программно реализованы и применялись для решения задач ресурсного обоснования решений, бюджетного проектирования с учетом приоритетов расходных статей и др. Технология распределения одного ресурса реализована в виде действующего интернет-сервиса планирования расходов. Методологическая состоятельность технологий подтверждена результатами сравнения с известными технологиями решения рассматриваемых задач.

The article presents updated technologies for solving two classes of linear resource allocation problems with dynamically changing characteristics of situational management systems and awareness of experts (and/or trained robots). The search for solutions is carried out in an interactive mode of computational experiment using updatable knowledge systems about problems considered as constructive objects (in accordance with the methodology of formalization of knowledge about programmable problems created in the theory of S-symbols). The technologies are focused on implementation in the form of Internet services. The first class includes resource allocation problems solved by the method of targeted solution movement. The second is the problems of allocating a single resource in hierarchical systems, taking into account the priorities of expense items, which can be solved (depending on the specified mandatory and orienting requirements for the solution) either by the interval method of allocation (with input data and result represented by numerical segments), or by the targeted solution movement method. The problem statements are determined by requirements for solutions and specifications of their applicability, which are set by an expert based on the results of the portraits of the target and achieved situations analysis. Unlike well-known methods for solving resource allocation problems as linear programming problems, the method of targeted solution movement is insensitive to small data changes and allows to find feasible solutions when the constraint system is incompatible. In single-resource allocation technologies, the segmented representation of data and results allows a more adequate (compared to a point representation) reflection of the state of system resource space and increases the practical applicability of solutions. The technologies discussed in the article are programmatically implemented and used to solve the problems of resource basement for decisions, budget design taking into account the priorities of expense items, etc. The technology of allocating a single resource is implemented in the form of an existing online cost planning service. The methodological consistency of the technologies is confirmed by the results of comparison with known technologies for solving the problems under consideration.

Предложен численный метод решения квазилинейных уравнений параболического типа, основанный на аппроксимации потоков. Описана реализация метода на прямоугольной сетке. Приведены результаты численных расчетов. В отличие от применяемых методов для данного метода используется аппроксимация потоков на нерасширенном шаблоне. Для каждой итерации метода Ньютона возможно решение линейной задачи с помощью метода верхней релаксации (SOR). По сравнению с методами потоковой прогонки рассмотренный метод обладает большим потенциалом для использования на современных параллельных вычислительных комплексах.

This article proposes a numeric method of solution of quasilinear parabolic equations, based on the flux approximation, describes the implementation of the method on a rectangular grid and presents numerical results. Unlike methods used in common practice, this method uses an approximation of flows in non-dilated template. For each iteration of the Newton method it is possible to solve a linear problem using the method of upper relaxation (SOR). Compared with the methods of flux sweeping, the considered method has greater potential for use in modern parallel computing system.

В работе построены сопряженные задачи для явной и неявной параболической квазилинейной сеточной пространственно-одномерной краевой задачи: коэффициенты задачи зависят от решения в текущий и предыдущие моменты времени. Зависимость от предыстории осуществляется через вектор состояния, эволюция которого описывается дифференциальным уравнением. К подобным задачам сводятся многие модели диффузионного массопереноса. Решения исходной и сопряженной краевых задач дают возможность получить точное значение градиента некоторого функционала в пространстве параметров, от которых также зависят коэффициенты задачи. Предложены алгоритмы решения задач, в том числе с использованием высокопроизводительных вычислительных систем.

In the paper we construct the adjoint problem for the explicit and implicit parabolic quazi-linear grid boundary-value problems with one spatial variable; the coefficients of the problems depend on the solution at the same time and earlier times. Dependence on the history of the solution is via the state vector; its evolution is described by the differential equation. Many models of diffusion mass transport are reduced to such boundary-value problems. Having solutions to the direct and adjoint problems, one can obtain the exact value of the gradient of a functional in the space of parameters the problem also depends on. We present solving algorithms, including the parallel one.

В статье сформулирован обобщенный подход к выбору значений структурных параметров искусственной нейронной сети (ИНС) и объема обучающий выборки, основанный на принципе минимизации количества элементов структуры ИНС и объема обучающей выборки при ограничении на значение показателя качества работы нейросетевой модели динамики объекта. Реализован алгоритм выбора структурных параметров ИНС и построения нейросетевой модели.
Проведена серия вычислительных экспериментов, демонстрирующая применимость алгоритма для построения моделей динамических объектов, в основе которых лежит нелинейная автокорреляционная нейронная сеть.

The article presents an approach to configuration of an artificial neural network architecture and a training set size. Configuration is based on parameter minimization with constraints specifying neural network model quality criteria. The algorithm of artificial neural network architecture and training set size configuration is applied to dynamic object artificial neural network approximation.
Series of computational experiments were performed. The method is applicable to construction of dynamic object models based on non-linear autocorrelation neural networks.

Представлен подход к уменьшению значения нормы поправки в ньютоновских методах оптимизации, основанных на факторизации Холесского, в основе которого лежит интеграция с техникой выбора ведущего элемента алгоритма линейного программирования как метода решения системы уравнений. Исследуются вопросы увеличения численной устойчивости разложения Холесского и метода исключения Гаусса.

An approach to the decrease of norm of the correction in Newton’s methods of optimization, based on the Cholesky’s factorization is presented, which is based on the integration with the technique of the choice of leading element of algorithm of linear programming as a method of solving the system of equations. We investigate the issues of increasing of the numerical stability of the Cholesky’s decomposition and the Gauss’ method of exception.

В данной статье исследуются методы машинного обучения с определенным видом решающего правила. К ним относятся интерполяция по методу обратно взвешенных расстояний, метод интерполяции радиальными базисными функциями, метод многомерной интерполяции и аппроксимации на основе теории случайных функций, кригинг. Показано, что для данных методов существует способ быстрого переобучения «модели» при добавлении новых данных к существующим. Под «моделью» понимается построенная по обучающим данным интерполирующая или аппроксимирующая функция. Данный подход позволяет уменьшить вычислительную сложность построения обновленной «модели» с $O(n^3)$ до $O(n^2)$. Также будет исследована возможность быстрого оценивания обобщающих возможностей «модели» на обучающей выборке при помощи метода скользящего контроля leave-one-out cross-validation, устранив главный недостаток такого подхода — необходимость построения новой «модели» при каждом удалении элемента из обучающей выборки.

We investigate machine learning methods with a certain kind of decision rule. In particular, inverse-distance method of interpolation, method of interpolation by radial basis functions, the method of multidimensional interpolation and approximation, based on the theory of random functions, the last method of interpolation is kriging. This paper shows a method of rapid retraining “model” when adding new data to the existing ones. The term “model” means interpolating or approximating function constructed from the training data. This approach reduces the computational complexity of constructing an updated “model” from $O(n^3)$ to $O(n^2)$. We also investigate the possibility of a rapid assessment of generalizing opportunities “model” on the training set using the method of cross-validation leave-one-out cross-validation, eliminating the major drawback of this approach — the necessity to build a new “model” for each element which is removed from the training set.

В данной статье исследуется метод машинного обучения на основе теории случайных функций. Одной из основных проблем данного метода является то, что вид решающего правила модели метода, построенной на данных обучающей выборки, становится более громоздким при увеличении количества примеров выборки. Решающее правило модели является наиболее вероятной реализацией случайной функции и представляется в виде многочлена с количеством слагаемых, равным количеству обучающих элементов выборки. В статье будет показано, что для рассматриваемого метода существует быстрый способ сокращения обучающей выборки и, соответственно, вида решающего правила. Уменьшение примеров обучающей выборки происходит за счет поиска и удаления малоинформативных (слабых) элементов, которые незначительно влияют на итоговый вид решающей функции, и шумовых элементов выборки. Для каждого $(x_i,y_i)$-го элемента выборки было введено понятие значимости, выражающееся величиной отклонения оцененного значения решающей функции модели в точке $x_i$, построенной без $i$-го элемента, от реального значения $y_i$. Будет показана возможность косвенного использования найденных слабых элементов выборки при обучении модели метода, что позволяет не увеличивать количество слагаемых в полученной решающей функции. Также в статье будут описаны проведенные эксперименты, в которых показано, как изменение количества обучающих данных влияет на обобщающую способность решающего правила модели в задаче классификации.

This article explores a method of machine learning based on the theory of random functions. One of the main problems of this method is that decision rule of a model becomes more complicated as the number of training dataset examples increases. The decision rule of the model is the most probable realization of a random function and it's represented as a polynomial with the number of terms equal to the number of training examples. In this article we will show the quick way of the number of training dataset examples reduction and, accordingly, the complexity of the decision rule. Reducing the number of examples of training dataset is due to the search and removal of weak elements that have little effect on the final form of the decision function, and noise sampling elements. For each $(x_i,y_i)$-th element sample was introduced the concept of value, which is expressed by the deviation of the estimated value of the decision function of the model at the point $x_i$, built without the $i$-th element, from the true value $y_i$. Also we show the possibility of indirect using weak elements in the process of training model without increasing the number of terms in the decision function. At the experimental part of the article, we show how changed amount of data affects to the ability of the method of generalizing in the classification task.