Все выпуски

Рассматривается численно устойчивый прямой мультипликативный метод решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество метода состоит в расчете факторов Холесского для положительно определенной матрицы системы уравнений и ее решения в рамках одной процедуры, а также в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью LU-разложения, просто другая схема реализации метода исключения Гаусса.

Расчет факторов Холесского для положительно определенной матрицы системы и ее решение лежит в основе построения новой математической формулировки безусловной задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности, которые достаточно просты и в данной работе используются для построения новой математической формулировки задачи квадратичного программирования на многогранном множестве ограничений, которая представляет собой задачу поиска минимального расстояния между началом координат и точкой границы многогранного множества ограничений средствами линейной алгебры и многомерной геометрии.

Для определения расстояния предлагается применить известный точный метод, основанный на решении систем линейных уравнений, размерность которых не выше числа переменных целевой функции. Расстояния определяются построением перпендикуляров к граням многогранника различной размерности. Для уменьшения числа исследуемых граней предлагаемый метод предусматривает специальный порядок перебора граней. Исследованию подлежат только грани, содержащие вершину, ближайшую к точке безусловного экстремума, и видимые из этой точки. В случае наличия нескольких ближайших равноудаленных вершин исследуется грань, содержащая все эти вершины, и грани меньшей размерности, имеющие с первой гранью не менее двух общих ближайших вершин.

A numerically stable direct multiplicative method for solving systems of linear equations that takes into account the sparseness of matrices presented in a packed form is considered. The advantage of the method is the calculation of the Cholesky factors for a positive definite matrix of the system of equations and its solution within the framework of one procedure. And also in the possibility of minimizing the filling of the main rows of multipliers without losing the accuracy of the results, and no changes are made to the position of the next processed row of the matrix, which allows using static data storage formats. The solution of the system of linear equations by a direct multiplicative algorithm is, like the solution with LU-decomposition, just another scheme for implementing the Gaussian elimination method.

The calculation of the Cholesky factors for a positive definite matrix of the system and its solution underlies the construction of a new mathematical formulation of the unconditional problem of quadratic programming and a new form of specifying necessary and sufficient conditions for optimality that are quite simple and are used in this paper to construct a new mathematical formulation for the problem of quadratic programming on a polyhedral set of constraints, which is the problem of finding the minimum distance between the origin ordinate and polyhedral boundary by means of a set of constraints and linear algebra dimensional geometry.

To determine the distance, it is proposed to apply the known exact method based on solving systems of linear equations whose dimension is not higher than the number of variables of the objective function. The distances are determined by the construction of perpendiculars to the faces of a polyhedron of different dimensions. To reduce the number of faces examined, the proposed method involves a special order of sorting the faces. Only the faces containing the vertex closest to the point of the unconditional extremum and visible from this point are subject to investigation. In the case of the presence of several nearest equidistant vertices, we investigate a face containing all these vertices and faces of smaller dimension that have at least two common nearest vertices with the first face.

В статье получены оценки скорости сходимости по функции для недавно предложенного Ю.Е. Нестеровым метода минимизации выпуклой липшицевой функции двух переменных на квадрате с фиксированной стороной. Идея метода — деление квадрата на меньшие части и постепенное их удаление так, чтобы в оставшейся достаточно малой части все значения целевой функции были достаточно близки к оптимальному. При этом метод заключается вр ешении вспомогательных задач одномерной минимизации вдоль разделяющих отрезков и не предполагает вычисления точного значения градиента целевого функционала. Основной результат работы о необходимом количестве итераций для достижений заданной точности доказан вкла ссе гладких выпуклых функций, имеющих липшицев градиент. При этом отмечено, что свойство липшицевости градиента достаточно потребовать не на всем квадрате, а лишь на некоторых отрезках. Показано, что метод может работать при наличии погрешностей решения вспомогательных одномерных задач, а также при вычислении направлений градиентов. Также описана ситуация, когда возможно пренебречь временными затратами (или уменьшить их) на решение вспомогательных одномерных задач. Для некоторых примеровэк спериментально продемонстрировано, что метод может эффективно работать и на некоторых классах негладких функций. При этом построен пример простой негладкой функции, для которой при неудачном выборе субградиента даже в случае точного решения вспомогательных одномерных задач может не наблюдаться сходимость метода. Проведено сравнение работы метода Ю.Е. Нестерова, метода эллипсоидов и градиентного спуска для некоторых гладких выпуклых функций. Эксперименты показали, что метод Ю.Е. Нестерова может достигать желаемой точности решения задачи за меньшее (в сравнении с другими рассмотренными методами) время. В частности, замечено, что при увеличении точности искомого решения время работы метода Ю.Е. Нестерова может расти медленнее, чем время работы метода эллипсоидов.

In the article we have obtained some estimates of the rate of convergence for the recently proposed by Yu. E.Nesterov method of minimization of a convex Lipschitz-continuous function of two variables on a square with a fixed side. The idea of the method is to divide the square into smaller parts and gradually remove them so that in the remaining sufficiently small part. The method consists in solving auxiliary problems of one-dimensional minimization along the separating segments and does not imply the calculation of the exact value of the gradient of the objective functional. The main result of the paper is proved in the class of smooth convex functions having a Lipschitz-continuous gradient. Moreover, it is noted that the property of Lipschitzcontinuity for gradient is sufficient to require not on the whole square, but only on some segments. It is shown that the method can work in the presence of errors in solving auxiliary one-dimensional problems, as well as in calculating the direction of gradients. Also we describe the situation when it is possible to neglect or reduce the time spent on solving auxiliary one-dimensional problems. For some examples, experiments have demonstrated that the method can work effectively on some classes of non-smooth functions. In this case, an example of a simple non-smooth function is constructed, for which, if the subgradient is chosen incorrectly, even if the auxiliary one-dimensional problem is exactly solved, the convergence property of the method may not hold. Experiments have shown that the method under consideration can achieve the desired accuracy of solving the problem in less time than the other methods (gradient descent and ellipsoid method) considered. Partially, it is noted that with an increase in the accuracy of the desired solution, the operating time for the Yu. E. Nesterov’s method can grow slower than the time of the ellipsoid method.

В работе рассматривается использование определения меры взаимодействия между каналами при выборе конфигурации структуры системы управления сложными динамическими объектами. Приведены основные методы определения меры взаимодействия подсистем сложных систем управления на основе методов RGA (Relative Gain Array), Dynamic RGA, HIIA (Hankel Interaction Index Array), PM (Participation matrix). Задача проектирования структуры управления традиционно делится на выбор каналов ввода-вывода и выбор конфигурации управления. При выборе конфигурации управления простые конфигурации более предпочтительны, так как просты при проектировании, обслуживании и более устойчивы к сбоям в работе. Однако сложные конфигурации обеспечивают создание системы управления с более высокой эффективностью. Процессы в больших динамических объектах характеризуются высокой степенью взаимодействия между переменными процесса. Выбор структуры управления заключается в определении того, какие динамические соединения следует использовать для разработки системы управления. Когда структура выбрана, соединения могут быть использованы для конфигурирования системы управления. Для больших систем предлагается для выбора структуры управления предварительно группировать компоненты векторов входных и выходных сигналов исполнительных органов и чувствительных элементов в наборы, в которых количество переменных существенно уменьшается. Приводится количественная оценка децентрализации системы управления на основе минимизации суммы недиагональных элементов матрицы PM. Приведен пример оценки меры взаимодействия компонент сильно связанных подсистем и меры взаимодействия компонент слабосвязанных подсистем. Дана количественная оценка последствий пренебрежения взаимодействием компонент слабосвязанных подсистем. Рассмотрено построение взвешенного графа для визуализации взаимодействия подсистем сложной системы. В работе предложен метод формирования грамиана управляемости вектором выходных сигналов, инвариантный к преобразованиям вектора состояния. Приведен пример декомпозиции системы стабилизации компонент вектора угловой скорости летательного аппарата. Оценивание мер взаимного влияния процессов в каналах систем управления позволяет повысить надежность функционирования систем при учете использования аналитической избыточности информации с различных приборов, что позволяет снизить массовые и габаритные характеристики систем, а также потребление энергии. Методы оценивания меры взаимодействия процессов в подсистемах систем управления могут быть использованы при проектировании сложных систем, например систем управления движением, систем ориентации и стабилизации летательных аппаратов.

The using of determining the measure of interaction between channels when choosing the configuration structure of a control system for complex dynamic objects is considered in the work. The main methods for determining the measure of interaction between subsystems of complex control systems based on the methods RGA (Relative Gain Array), Dynamic RGA, HIIA (Hankel Interaction Index Array), PM (Participation matrix) are presented. When choosing a control configuration, simple configurations are preferable, as they are simple in design, maintenance and more resistant to failures. However, complex configurations provide higher performance control systems. Processes in large dynamic objects are characterized by a high degree of interaction between process variables. For the design of the control structure interaction measures are used, namely, the selection of the control structure and the decision on the configuration of the controller. The choice of control structure is to determine which dynamic connections should be used to design the controller. When a structure is selected, connections can be used to configure the controller. For large systems, it is proposed to pre-group the components of the vectors of input and output signals of the actuators and sensitive elements into sets in which the number of variables decreases significantly in order to select a control structure. A quantitative estimation of the decentralization of the control system based on minimizing the sum of the off-diagonal elements of the PM matrix is given. An example of estimation the measure of interaction between components of strong coupled subsystems and the measure of interaction between components of weak coupled subsystems is given. A quantitative estimation is given of neglecting the interaction of components of weak coupled subsystems. The construction of a weighted graph for visualizing the interaction of the subsystems of a complex system is considered. A method for the formation of the controllability gramian on the vector of output signals that is invariant to state vector transformations is proposed in the paper. An example of the decomposition of the stabilization system of the components of the flying vehicle angular velocity vector is given. The estimation of measures of the mutual influence of processes in the channels of control systems makes it possible to increase the reliability of the systems when accounting for the use of analytical redundancy of information from various devices, which reduces the mass and energy consumption. Methods for assessing measures of the interaction of processes in subsystems of control systems can be used in the design of complex systems, for example, motion control systems, orientation and stabilization systems of vehicles.

В последнее время седловым задачам уделяется большое внимание благодаря их мощным возможностям моделирования для множества задач из различных областей. Приложения этих задач встречаются в многочисленных современных прикладных областях, таких как робастная оптимизация, распределенная оптимизация, теория игр и~приложения машинного обучения, такие как, например, минимизация эмпирического риска или обучение генеративно-состязательных сетей. Поэтому многие исследователи активно работают над разработкой численных методов для решения седловых задач в самых разных предположениях. Данная статья посвящена разработке численного метода решения седловых задач в невыпуклой равномерно вогнутой постановке. В этой постановке считается, что по группе прямых переменных целевая функция может быть невыпуклой, а по группе двойственных переменных задача является равномерно вогнутой (это понятие обобщает понятие сильной вогнутости). Был изучен более общий класс седловых задач со сложной композитной структурой и гёльдерово непрерывными производными высшего порядка. Для решения рассматриваемой задачи был предложен подход, при котором мы сводим задачу к комбинации двух вспомогательных оптимизационных задач отдельно для каждой группы переменных: внешней задачи минимизации и~внутренней задачи максимизации. Для решения внешней задачи минимизации мы используем адаптивный градиентный метод, который применим для невыпуклых задач, а также работает с неточным оракулом, который генерируется путем неточного решения внутренней задачи максимизации. Для решения внутренней задачи максимизации мы используем обобщенный ускоренный метод с рестартами, который представляет собой метод, объединяющий методы ускорения высокого порядка для минимизации выпуклой функции, имеющей гёльдерово непрерывные производные высшего порядка. Важной компонентой проведенного анализа сложности предлагаемого алгоритма является разделение оракульных сложностей на число вызовов оракула первого порядка для внешней задачи минимизации и оракула более высокого порядка для внутренней задачи максимизации. Более того, оценивается сложность всего предлагаемого подхода.

Recently, saddle point problems have received much attention due to their powerful modeling capability for a lot of problems from diverse domains. Applications of these problems occur in many applied areas, such as robust optimization, distributed optimization, game theory, and many applications in machine learning such as empirical risk minimization and generative adversarial networks training. Therefore, many researchers have actively worked on developing numerical methods for solving saddle point problems in many different settings. This paper is devoted to developing a numerical method for solving saddle point problems in the nonconvex uniformly-concave setting. We study a general class of saddle point problems with composite structure and H\"older-continuous higher-order derivatives. To solve the problem under consideration, we propose an approach in which we reduce the problem to a combination of two auxiliary optimization problems separately for each group of variables, the outer minimization problem w.r.t. primal variables, and the inner maximization problem w.r.t the dual variables. For solving the outer minimization problem, we use the Adaptive Gradient Method, which is applicable for nonconvex problems and also works with an inexact oracle that is generated by approximately solving the inner problem. For solving the inner maximization problem, we use the Restarted Unified Acceleration Framework, which is a framework that unifies the high-order acceleration methods for minimizing a convex function that has H\"older-continuous higher-order derivatives. Separate complexity bounds are provided for the number of calls to the first-order oracles for the outer minimization problem and higher-order oracles for the inner maximization problem. Moreover, the complexity of the whole proposed approach is then estimated.

Решается двойственная задача интегральной геометрии: по заданному оператору усреднения определить класс функций, на котором возможно обращение этого оператора. Эти классы определяются неоднозначно. Дается полное описание таких классов в форме минимальной дополнительной информации, которую надо знать о функции. Исследуется возможность их конструктивного описания, и в случае конечной системы усреднения даются формулы обращения.

The dual task of integral geometry – to define for a given averaging operator the function class where inversion of that operator is possible – is solved. Those classes are defined ambiguously. Full description of those classes is given in the form of minimal complimentary information necessary to know about the function. The possible to give a constructive description of the class is researched and in the case of a finite averaging system the inversion formulas are given.

В статье сформулирован обобщенный подход к выбору значений структурных параметров искусственной нейронной сети (ИНС) и объема обучающий выборки, основанный на принципе минимизации количества элементов структуры ИНС и объема обучающей выборки при ограничении на значение показателя качества работы нейросетевой модели динамики объекта. Реализован алгоритм выбора структурных параметров ИНС и построения нейросетевой модели.
Проведена серия вычислительных экспериментов, демонстрирующая применимость алгоритма для построения моделей динамических объектов, в основе которых лежит нелинейная автокорреляционная нейронная сеть.

The article presents an approach to configuration of an artificial neural network architecture and a training set size. Configuration is based on parameter minimization with constraints specifying neural network model quality criteria. The algorithm of artificial neural network architecture and training set size configuration is applied to dynamic object artificial neural network approximation.
Series of computational experiments were performed. The method is applicable to construction of dynamic object models based on non-linear autocorrelation neural networks.

С целью обобщения уравнения крутильных колебаний на случай нелинейно деформируемых реологически активных валов в статье представлена методика линеаризации эффективной функции мгновенного деформирования материала. В работе рассматриваются слоистые и структурно неоднородные, в среднем изотропные валы из нелинейно вязкоупругих компонент. Методика заключается в определении аппроксимирующего модуля сдвига материала посредством минимизации среднеквадратического отклонения при приближении эффективной диаграммы мгновенного деформирования линейной функцией.

Представленная методика позволяет в аналитическом виде произвести оценку величин частот свободных колебаний слоистых и структурно неоднородных нелинейно вязкоупругих цилиндрических стержней. Это, в свою очередь, предоставляет возможность существенно сократить ресурсы при вибрационном анализе, а также отследить изменения значений собственных частот при изменении геометрических, физико-механических и структурных параметров валов, что особенно важно на начальных этапах моделирования и проектирования. Кроме того, в работе показано, что только выраженная нелинейность эффективного уравнения состояния материала оказывает значимое влияние на частоты свободных колебаний, и в некоторых случаях нелинейностью при определении собственных частот можно пренебречь.

В качестве уравнений состояния компонент композиционного материала в статье рассматриваются уравнения нелинейной наследственности с функциями мгновенного деформирования в виде билинейных диаграмм Прандтля. Для гомогенизации уравнений состояния слоистых цилиндрических стержней в работе применяются гипотезы Фойгта об однородности деформаций и Рейсса об однородности напряжений в объеме композиционного тела. При использовании данных предположений получены эффективные секущий и касательный модули сдвига, пределы пропорциональности, а также ядра ползучести и релаксации продольно, аксиально и поперечно-слоистых валов. Кроме того, в работе получены указанные эффективные характеристики структурно неоднородного, в среднем изотропного цилиндрического стержня с помощью ранее предложенного авторами метода гомогенизации, основанного на определении параметров деформирования материала по правилу смеси для уравнений состояния по Фойгту и Рейссу.

The article presents a method for linearization the effective function of material instantaneous deformation in order to generalize the torsional vibration equation to the case of nonlinearly deformable rheologically active shafts. It is considered layered and structurally heterogeneous, on average isotropic shafts made of nonlinearly viscoelastic components. The technique consists in determining the approximate shear modulus by minimizing the root-mean-square deviation in approximation of the effective diagram of instantaneous deformation.

The method allows to estimate analytically values of natural frequencies of layered and structurally heterogeneous nonlinearly viscoelastic shaft. This makes it possible to significantly reduce resources in vibration analysis, as well as to track changes in values of natural frequencies with changing geometric, physico-mechanical and structural parameters of shafts, which is especially important at the initial stages of modeling and design. In addition, the paper shows that only a pronounced nonlinearity of the effective state equation has an effect on the natural frequencies, and in some cases the nonlinearity in determining the natural frequencies can be neglected.

As equations of state of the composite material components, the article considers the equations of nonlinear heredity with instantaneous deformation functions in the form of the Prandtl’s bilinear diagrams. To homogenize the state equations of layered shafts, it is applied the Voigt’s hypothesis on the homogeneity of deformations and the Reuss’ hypothesis on the homogeneity of stresses in the volume of a composite body. Using these assumptions, effective secant and tangential shear moduli, proportionality limits, as well as creep and relaxation kernels of longitudinal, axial and transversely layered shafts are obtained. In addition, it is obtained the indicated effective characteristics of a structurally heterogeneous, on average isotropic shaft using the homogenization method previously proposed by the authors, based on the determination of the material deformation parameters by the rule of a mixture for the Voigt’s and the Reuss’ state equations.

В работе рассматриваются развитие и применение метода учета заполненности прямоугольных ячеек материальной средой, в частности жидкостью для повышения гладкости и точности конечно-разностного решения задач гидродинамики со сложной формой граничной поверхности. Для исследования возможностей предлагаемых разностных схем рассмотрены две задачи вычислительной гидродинамики — пространственно-двумерного течения вязкой жидкости между двумя соосными полуцилиндрами и переноса веществ между соосными полуцилиндрами. Аппроксимация задач по времени выполнена на основе схем расщепления по физическим процессам. Дискретизация операторов диффузии и конвекции выполнена на основе интегроинтерполяционного метода с учетом заполненности ячеек и без ее учета. Для решения задачи диффузии – конвекции при больших сеточных числах Пекле предложено использовать разностную схему, учитывающую функцию заполненности ячеек, и схему, построенную на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами, полученными в результате минимизации погрешности аппроксимации при малых числах Куранта. Для оценки точности численного решения в качестве эталона используется аналитическое решение, описывающее течение Куэтта – Тейлора. В случае непосредственного использования прямоугольных сеток (ступенчатой аппроксимации границ) относительная погрешность расчетов достигает 70 %, при тех же условиях использование предлагаемого метода позволяет уменьшить погрешность до 6%. Показано, что дробление прямоугольной сетки в 2–8 раз по каждому из пространственных направлений не приводит к такому же повышению точности, которой обладают численные решения, полученные с учетом заполненности ячеек. Предложенные разностные схемы, построенные на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами 2/3 и 1/3 соответственно, полученные в результате минимизации порядка погрешности аппроксимации, для задачи диффузии – конвекции обладают меньшей сеточной вязкостью и, как следствие, точнее описывают поведение решения в случае больших сеточных чисел Пекле.

The paper discusses the development and application of the accounting rectangular cell fullness method with material substance, in particular, a liquid, to increase the smoothness and accuracy of a finite-difference solution of hydrodynamic problems with a complex shape of the boundary surface. Two problems of computational hydrodynamics are considered to study the possibilities of the proposed difference schemes: the spatial-twodimensional flow of a viscous fluid between two coaxial semi-cylinders and the transfer of substances between coaxial semi-cylinders. Discretization of diffusion and convection operators was performed on the basis of the integro-interpolation method, taking into account taking into account the fullness of cells and without it. It is proposed to use a difference scheme, for solving the problem of diffusion – convection at large grid Peclet numbers, that takes into account the cell population function, and a scheme on the basis of linear combination of the Upwind and Standard Leapfrog difference schemes with weight coefficients obtained by minimizing the approximation error at small Courant numbers. As a reference, an analytical solution describing the Couette – Taylor flow is used to estimate the accuracy of the numerical solution. The relative error of calculations reaches 70% in the case of the direct use of rectangular grids (stepwise approximation of the boundaries), under the same conditions using the proposed method allows to reduce the error to 6%. It is shown that the fragmentation of a rectangular grid by 2–8 times in each of the spatial directions does not lead to the same increase in the accuracy that numerical solutions have, obtained taking into account the fullness of the cells. The proposed difference schemes on the basis of linear combination of the Upwind and Standard Leapfrog difference schemes with weighting factors of 2/3 and 1/3, respectively, obtained by minimizing the order of approximation error, for the diffusion – convection problem have a lower grid viscosity and, as a corollary, more precisely, describe the behavior of the solution in the case of large grid Peclet numbers.

В работе рассмотрена задача минимизации выпуклого и, вообще говоря, негладкого функционала $f$ при наличии липшицевого неположительного выпуклого негладкого функционального ограничения $g$. При этом обоснованы оценки скорости сходимости методов адаптивного зеркального спуска также и для случая квазивыпуклого целевого функционала в случае выпуклого функционального ограничения. Предложен также метод и для задачи минимизации квазивыпуклого целевого функционала с квазивыпуклым неположительным функционалом ограничения. В работе предложен специальный подход к выбору шагов и количества итераций в алгоритме зеркального спуска для рассматриваемого класса задач. В случае когда значения норм (суб)градиентов функциональных ограничений достаточно велики, предложенный подход к выбору шагов и остановке метода может ускорить работу метода по сравнению с его аналогами. В работе приведены численные эксперименты, демонстрирующие преимущества использования таких методов. Также показано, что методы применимы к целевым функционалам различных уровней гладкости. В частности, рассмотрен класс гёльдеровых целевых функционалов. На базе техники рестартов для рассмотренного варианта метода зеркального спуска был предложен оптимальный метод решения задач оптимизации с сильно выпуклыми целевыми функционалами. Получены оценки скорости сходимости рассмотренных алгоритмов для выделенных классов оптимизационных задач. Доказанные оценки демонстрируют оптимальность рассматриваемых методов с точки зрения теории нижних оракульных оценок.

The paper is devoted to the problem of minimization of the non-smooth functional $f$ with a non-positive non-smooth Lipschitz-continuous functional constraint. We consider the formulation of the problem in the case of quasi-convex functionals. We propose new strategies of step-sizes and adaptive stopping rules in Mirror Descent for the considered class of problems. It is shown that the methods are applicable to the objective functionals of various levels of smoothness. Applying a special restart technique to the considered version of Mirror Descent there was proposed an optimal method for optimization problems with strongly convex objective functionals. Estimates of the rate of convergence for the considered methods are obtained depending on the level of smoothness of the objective functional. These estimates indicate the optimality of the considered methods from the point of view of the theory of lower oracle bounds. In particular, the optimality of our approach for Höldercontinuous quasi-convex (sub)differentiable objective functionals is proved. In addition, the case of a quasiconvex objective functional and functional constraint was considered. In this paper, we consider the problem of minimizing a non-smooth functional $f$ in the presence of a Lipschitz-continuous non-positive non-smooth functional constraint $g$, and the problem statement in the cases of quasi-convex and strongly (quasi-)convex functionals is considered separately. The paper presents numerical experiments demonstrating the advantages of using the considered methods.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

The article considers minimization of the expectation of convex function. Problems of this type often arise in machine learning and a variety of other applications. In practice, stochastic gradient descent (SGD) and similar procedures are usually used to solve such problems. We propose to use the ellipsoid method with mini-batching, which converges linearly and can be more efficient than SGD for a class of problems. This is verified by our experiments, which are publicly available. The algorithm does not require neither smoothness nor strong convexity of the objective to achieve linear convergence. Thus, its complexity does not depend on the conditional number of the problem. We prove that the method arrives at an approximate solution with given probability when using mini-batches of size proportional to the desired accuracy to the power −2. This enables efficient parallel execution of the algorithm, whereas possibilities for batch parallelization of SGD are rather limited. Despite fast convergence, ellipsoid method can result in a greater total number of calls to oracle than SGD, which works decently with small batches. Complexity is quadratic in dimension of the problem, hence the method is suitable for relatively small dimensionalities.