Все выпуски

В данной работе рассматриваются методы условного градиента для оптимизации сильно выпуклых функций. Это методы, использующие линейный минимизационный оракул, то есть умеющие вычислять решение задачи

$$ \text{Argmin}_{x\in X}{\langle p,\,x \rangle} $$

для заданного вектора $p \in \mathbb{R}^n$. Существует целый ряд методов условного градиента, имеющих линейную скорость сходимости в сильно выпуклом случае. Однако во всех этих методах в оценку скорости сходимости входит размерность задачи, которая в современных приложениях может быть очень большой. В данной работе доказывается, что в сильно выпуклом случае скорость сходимости методов условного градиента в лучшем случае зависит от размерности задачи $n$ как $\widetilde{\Omega}\left(\!\sqrt{n}\right)$. Таким образом, методы условного градиента могут оказаться неэффективными для решения сильно выпуклых оптимизационных задач больших размерностей.

Отдельно рассматривается приложение методов условного градиента к задачам минимизации квадратичной формы. Уже была доказана эффективность метода Франк – Вульфа для решения задачи квадратичной оптимизации в выпуклом случае на симплексе (PageRank). Данная работа показывает, что использование методов условного градиента для минимизации квадратичной формы в сильно выпуклом случае малоэффективно из-за наличия размерности в оценке скорости сходимости этих методов. Поэтому рассматривается метод рестартов условного градиента (Shrinking Conditional Gradient). Его отличие от методов условного градиента заключается в том, что в нем используется модифицированный линейный минимизационный оракул, который для заданного вектора $p \in \mathbb{R}^n$ вычисляет решение задачи $$ \text{Argmin}\{\langle p, \,x \rangle\colon x\in X, \;\|x-x_0^{}\| \leqslant R \}. $$ В оценку скорости сходимости такого алгоритма размерность уже не входит. С помощью рестартов метода условного градиента получена сложность (число арифметических операций) минимизации квадратичной формы на $\infty$-шаре. Полученная оценка работы метода сравнима со сложностью градиентного метода.

Работа посвящена моделированию процессов разборки сложных изделий в системах автоматизированного проектирования. Возможность демонтажа изделия в заданной последовательности формируется на ранних этапах проектирования, а реализуется в конце жизненного цикла. Поэтому современные системы автоматизированного проектирования должны иметь инструменты для оценки сложности демонтажа деталей и сборочных единиц. Предложена гиперграфовая модель механической структуры изделия. Показано, что математическим описанием когерентных и секвенциальных операций разборки является нормальное разрезание ребра гиперграфа. Доказана теорема о свойствах нормальных разрезаний. Данная теорема позволяет организовать простую рекурсивную процедуру генерации всех разрезаний гиперграфа. Множество всех разрезаний представляется в виде И–ИЛИ-дерева. Дерево содержит информацию о планах разборки изделия и его частей. Предложены математические описания процессов разборки различного типа: полной, неполной, линейной, нелинейной. Показано, что решающий граф И–ИЛИ-дерева представляет собой модель разборки изделия и всех его составных частей, полученных в процессе демонтажа. Рассмотрена важная характеристика сложности демонтажа деталей — глубина вложения. Разработан способ эффективного расчета оценки снизу данной характеристики.

Предложен модифицированный вариант метода решеточных уравнений Больцмана для расчета течений вязкой несжимаемой жидкости. Метод основан на использовании расщепления дифференциального оператора в уравнении Навье–Стокса и идее о мгновенной максвеллизации функций распределения. Метод основан на использовании явных схем и не приводит к сложностям при распараллеливании вычислений. С помощью метода фон Неймана показана устойчивость метода в широком диапазоне изменения входного параметра. Эффективность предложенного метода показана при решении задачи о плоском течении в каверне.

Снижение пожарной опасности при использовании полимерных материалов является одной из актуальных научно-технических задач. В связи со сложностью проведения экспериментальных исследований в данной области важным направлением современной фундаментальной науки является развитие теоретических основ описания реагирующих течений. Для решения вопросов, связанных с распространением пламени по поверхности горючего материала, необходимо совершенствовать методы математического моделирования, что обусловлено большим количеством протекающих физико-химических процессов, требующих моделирования каждого из них в отдельности, и сложным характером взаимодействия между этими процессами как в газовой среде, так и в твердом теле.

Распространение пламени вверх по вертикальной поверхности твердого горючего материала сопровождается нестационарными вихревыми структурами течения газа вблизи области горения, образование которых происходит в результате тепловой нестабильности и за счет действия сил естественной конвекции, ускоряющей горячие продукты сгорания. За счет вихревых структур от горячего газофазного пламени в твердый материал в каждый момент времени поступает разное количество тепловой энергии. Поэтому адекватный расчет теплового потока и, соответственно, вихревого течения имеет важное значение для оценки скорости распространения пламени.

Данная работа появящена оценкам параметров численного метода решения задачи распространения пламени по поверхности горючего материала, учитывающего сопряженный характер взаимодействия газовой среды и твердого тела и вихревое течение, вызванное естественной конвекцией. В работе рассмотрены особенности использования различных аппроксимационных схем, используемых при интегрировании исходных дифференциальных уравнений по пространству и во времени, релаксации полей при итерировании внутри шага по времени, различных шагов интегрирования по времени.

Сформулированная в работе математическая модель позволяет описывать процесс распространения пламени по поверхности горючего материала. Газодинамика моделируется системой уравнений Навье – Стокса, вихревое течение описывается комбинированной моделью турбулентности RANS–LES (DDES), турбулентное горение — комбинированной моделью горения Eddy Break-Up с учетом кинетических эффектов, теплопередача излучением — методом сферических гармоник первого порядка аппроксимации (P1). Решение уравнений производится в программном пакете OpenFOAM.

В последнее время седловым задачам уделяется большое внимание благодаря их мощным возможностям моделирования для множества задач из различных областей. Приложения этих задач встречаются в многочисленных современных прикладных областях, таких как робастная оптимизация, распределенная оптимизация, теория игр и~приложения машинного обучения, такие как, например, минимизация эмпирического риска или обучение генеративно-состязательных сетей. Поэтому многие исследователи активно работают над разработкой численных методов для решения седловых задач в самых разных предположениях. Данная статья посвящена разработке численного метода решения седловых задач в невыпуклой равномерно вогнутой постановке. В этой постановке считается, что по группе прямых переменных целевая функция может быть невыпуклой, а по группе двойственных переменных задача является равномерно вогнутой (это понятие обобщает понятие сильной вогнутости). Был изучен более общий класс седловых задач со сложной композитной структурой и гёльдерово непрерывными производными высшего порядка. Для решения рассматриваемой задачи был предложен подход, при котором мы сводим задачу к комбинации двух вспомогательных оптимизационных задач отдельно для каждой группы переменных: внешней задачи минимизации и~внутренней задачи максимизации. Для решения внешней задачи минимизации мы используем адаптивный градиентный метод, который применим для невыпуклых задач, а также работает с неточным оракулом, который генерируется путем неточного решения внутренней задачи максимизации. Для решения внутренней задачи максимизации мы используем обобщенный ускоренный метод с рестартами, который представляет собой метод, объединяющий методы ускорения высокого порядка для минимизации выпуклой функции, имеющей гёльдерово непрерывные производные высшего порядка. Важной компонентой проведенного анализа сложности предлагаемого алгоритма является разделение оракульных сложностей на число вызовов оракула первого порядка для внешней задачи минимизации и оракула более высокого порядка для внутренней задачи максимизации. Более того, оценивается сложность всего предлагаемого подхода.

В данной работе приведен алгоритм численного решения обратной начально-краевой задачи для гиперболического уравнения с малым параметром перед второй производной по времени, которая состоит в нахождении начального распределения по заданному конечному. Данный алгоритм позволяет для заданной наперед точности получить решение задачи (в допустимых пределах точности). Данный алгоритм позволяет избежать сложностей, аналогичных случаю с уравнением теплопроводности с обращенным временем. Предложенный алгоритм позволяет подобрать оптимальный размер конечно-разностной схемы путем обучения на относительно больших разбиениях сетки и малом числе итераций градиентного метода. Предложенный алгоритм позволяет получить оценку для константы Липшица градиента целевого функционала. Также представлен способ оптимального выбора малого параметра при второй производной для ускорения решения задачи. Данный подход может быть применен и в других задачах с похожей структурой, например в решении уравнений состояния плазмы, в социальных процессах или в различных биологических задачах. Новизна данной работы заключается в разработке оптимальной процедуры выбора размера шага путем применения экстраполяции Ричардсона и обучения на малых размерах сетки для решения задач оптимизации с неточным градиентом в обратных задачах.

В данной статье исследуются методы машинного обучения с определенным видом решающего правила. К ним относятся интерполяция по методу обратно взвешенных расстояний, метод интерполяции радиальными базисными функциями, метод многомерной интерполяции и аппроксимации на основе теории случайных функций, кригинг. Показано, что для данных методов существует способ быстрого переобучения «модели» при добавлении новых данных к существующим. Под «моделью» понимается построенная по обучающим данным интерполирующая или аппроксимирующая функция. Данный подход позволяет уменьшить вычислительную сложность построения обновленной «модели» с $O(n^3)$ до $O(n^2)$. Также будет исследована возможность быстрого оценивания обобщающих возможностей «модели» на обучающей выборке при помощи метода скользящего контроля leave-one-out cross-validation, устранив главный недостаток такого подхода — необходимость построения новой «модели» при каждом удалении элемента из обучающей выборки.

В данной работе приводятся нижние оценки скорости сходимости для класса численных методов выпуклой оптимизации первого порядка и выше, т. е. использующих градиент и старшие производные. Обсуждаются вопросы достижимости данных оценок. Приведенные в статье оценки замыкают известные на данный момент результаты в этой области. Отметим, что замыкание осуществляется без должного обоснования, поэтому в той общности, в которой данные оценки приведены в статье, их стоит понимать как гипотезу. Опишембо лее точно основной результат работы. Пожалуй, наиболее известнымм етодом второго порядка является метод Ньютона, использующий информацию о градиенте и матрице Гессе оптимизируемой функции. Однако даже для сильно выпуклых функций метод Ньютона сходится лишь локально. Глобальная сходимость метода Ньютона обеспечивается с помощью кубической регуляризации оптимизируемой на каждом шаге квадратичной модели функции [Nesterov, Polyak, 2006]. Сложность решения такой вспомогательной задачи сопоставима со сложностью итерации обычного метода Ньютона, т. е. эквивалентна по порядку сложности обращения матрицы Гессе оптимизируемой функции. В 2008 году Ю. Е. Нестеровымбыл предложен ускоренный вариант метода Ньютона с кубической регуляризацией [Nesterov, 2008]. В 2013 г. Monteiro – Svaiter сумели улучшить оценку глобальной сходимости ускоренного метода с кубической регуляризацией [Monteiro, Svaiter, 2013]. В 2017 году Arjevani – Shamir – Shiff показали, что оценка Monteiro – Svaiter оптимальна (не может быть улучшена более чем на логарифми- ческий множитель на классе методов 2-го порядка) [Arjevani et al., 2017]. Также удалось получить вид нижних оценок для методов порядка $p ≥ 2$ для задач выпуклой оптимизации. Отметим, что при этом для сильно выпуклых функций нижние оценки были получены только для методов первого и второго порядка. В 2018 году Ю. Е. Нестеров для выпуклых задач оптимизации предложил методы 3-го порядка, которые имеют сложность итерации сопоставимую со сложностью итерации метода Ньютона и сходятся почти по установленным нижним оценкам [Nesterov, 2018]. Таким образом, было показано, что методы высокого порядка вполне могут быть практичными. В данной работе приводятся нижние оценки для методов высокого порядка $p ≥ 3$ для сильно выпуклых задач безусловной оптимизации. Работа также может рассматриваться как небольшой обзор современного состояния развития численных методов выпуклой оптимизации высокого порядка.

Мы рассматриваем модель спонтанного формирования вычислительной структуры в мозге человека для решения заданного класса задач в процессе выполнения серии однотипных заданий. Модель основана на специальном определении числовой меры сложности алгоритма решения. Эта мера обладает информационным свойством: сложность вычислительной структуры, состоящей из двух независимых структур, равна сумме сложностей этих структур. Тогда вероятность спонтанного возникновения структуры экспоненциально зависит от сложности структуры. Коэффициент при экспоненте требует экспериментального определения для каждого типа задач. Он может зависеть от формы предъявления исходных данных и от процедуры выдачи результата. Этот метод оценки применен к результатам серии экспериментов, в которых определялась стратегия решения человеком серии однотипных задач с растущим числом исходных данных. Эти эксперименты были описаны в ранее изданных работах. Рассматривались две основные стратегии: последовательное выполнение вычислительного алгоритма или использование параллельных вычислений в тех задачах, где это эффективно. Эти стратегии различаются схемами проведения вычислений. Используя оценку сложности схем, можно по эмпирической вероятности одной из стратегий рассчитать вероятность другой. Проведенные вычисления показали хорошее совпадение расчетной и эмпирической вероятности. Это подтверждает гипотезу о спонтанном формировании структур, решающих задачу, в процессе начальной тренировки человека. Работа содержит краткое описание экспериментов, подробные вычислительные схемы и строгое определение меры сложности вычислительных структур и вывод зависимости вероятности формирования структуры от ее сложности.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.