Все выпуски

В работе рассмотрена задача минимизации выпуклого и, вообще говоря, негладкого функционала $f$ при наличии липшицевого неположительного выпуклого негладкого функционального ограничения $g$. При этом обоснованы оценки скорости сходимости методов адаптивного зеркального спуска также и для случая квазивыпуклого целевого функционала в случае выпуклого функционального ограничения. Предложен также метод и для задачи минимизации квазивыпуклого целевого функционала с квазивыпуклым неположительным функционалом ограничения. В работе предложен специальный подход к выбору шагов и количества итераций в алгоритме зеркального спуска для рассматриваемого класса задач. В случае когда значения норм (суб)градиентов функциональных ограничений достаточно велики, предложенный подход к выбору шагов и остановке метода может ускорить работу метода по сравнению с его аналогами. В работе приведены численные эксперименты, демонстрирующие преимущества использования таких методов. Также показано, что методы применимы к целевым функционалам различных уровней гладкости. В частности, рассмотрен класс гёльдеровых целевых функционалов. На базе техники рестартов для рассмотренного варианта метода зеркального спуска был предложен оптимальный метод решения задач оптимизации с сильно выпуклыми целевыми функционалами. Получены оценки скорости сходимости рассмотренных алгоритмов для выделенных классов оптимизационных задач. Доказанные оценки демонстрируют оптимальность рассматриваемых методов с точки зрения теории нижних оракульных оценок.

Большой класс задач описывает физические процессы, протекающие в невыпуклых областях, содержащих угол больший 180 градусов на границе. Решение в окрестности такого угла сингулярно, а его отыскание, при использовании классических подходов, влечет за собой потерю точности. В представленной работе рассмотрены стационарные, линеаризованные с помощью итераций Пикара несжимаемые уравнения Навье – Стокса течения вязкой жидкости в конвективной форме в $L$-образной области. Определено $R_\nu$-обобщенное решение задачи в специальных множествах весовых пространств. Для нахождения приближенного $R_\nu$-обобщенного решения построен специальный метод конечных элементов. Во-первых, пространства конечно-элементных функций удовлетворяют закону сохранения массы в сильном смысле, то есть в узлах сетки. Для этой цели используется Скотт – Вогелиус конечно-элементная пара. Выполнение закона сохранения массы ведет к отысканию более точного с физической точки зрения решения. Во-вторых, базисные функции конечномерных пространств дополнены весовыми функциями как множителями, которые совпадают с расстоянием от точки до вершины тупого угла в $\delta$-окрестности точки сингулярности и радиусом $\delta$ вне ее. Степень весовой функции, как и параметр $\nu$ в определении $R_\nu$-обобщенного решения, так и радиус $\delta$-окрестности точки сингулярности являются свободными параметрами метода. Специально подобранная их комбинация приводит к увеличению порядка сходимости приближенного решения к точному решению задачи почти в два раза по сравнению с классическими подходами и достигает единицы по шагу сетки в нормах весовых пространств Соболева. Таким образом, установлено, что скорость сходимости не зависит от величины угла.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

Нахождение глобального минимума невыпуклых функций — одна из ключевых и самых сложных проблем современной оптимизации. В этой работе мы рассматриваем отдельные классы невыпуклых задач, которые имеют четкий и выраженный глобальный минимум.

В первой части статьи мы рассматриваем два класса «хороших» невыпуклых функций, которые могут быть ограничены снизу и сверху параболической функцией. Такой класс задач не исследован широко в литературе, хотя является довольно интересным с прикладной точки зрения. Более того, для таких задач методы первого и более высоких порядков могут быть абсолютно неэффективны при поиске глобального минимума. Это связано с тем, что функция может сильно осциллировать или может быть сильно зашумлена. Поэтому наши новые методы используют информацию только нулевого порядка и основаны на поиске по сетке. Размер и мелкость этой сетки, а значит, и гарантии скорости сходимости и оракульной сложности зависят от «хорошести» задачи. В частности, мы показываем, если функция зажата довольно близкими параболическими функциями, то сложность не зависит от размерности задачи. Мы показываем, что наши новые методы сходятся с линейной скоростью сходимости $\log(1/\varepsilon)$ к глобальному минимуму на кубе.

Во второй части статьи мы рассматриваем задачу невыпуклой оптимизации с другого ракурса. Мы предполагаем, что целевая минимизируемая функция есть сумма выпуклой квадратичной задачи и невыпуклой «шумовой» функции, пропорциональной по модулю расстоянию до глобального решения. Рассмотрение функций с такими предположениями о шуме для методов нулевого порядка является новым в литературе. Для такой задачи мы используем классический безградиентный подход с аппроксимацией градиента через конечную разность. Мы показываем, как можно свести анализ сходимости для нашей задачи к стандартному анализу для задач выпуклой оптимизации. В частности, и для таких задач мы добиваемся линейной скорости сходимости.

Экспериментальные результаты подтверждают работоспособность и практическую применимость всех полученных методов.

В работе изучается многомерное уравнение конвекции-диффузии с переменными коэффициентами и неклассическим граничным условием. Рассмотрены два случая: в первом случае первое граничное условие содержит интеграл от неизвестной функции по переменной интегрирования $x_\alpha^{}$, а во втором случае — интеграл от неизвестной функции по переменной интегрирования $\tau$, обозначающий эффект памяти. Подобные задачи возникают при изучении переноса примеси вдоль русла рек. Для приближенного решения поставленной задачи предложена эффективная в плане экономичности, устойчивости и сходимости разностная схема — локально-одномерная разностная схема А.А. Самарского с порядком аппроксимации~$O(h^2+\tau)$. Ввиду того что уравнение содержит первую производную от неизвестной функции по пространственной переменной $x_\alpha^{}$, для повышения порядка точности локально-одномерной схемы используется известный метод, предложенный А.А. Самарским при построении монотонной схемы второго порядка точности по $h_\alpha^{}$ для уравнения параболического типа общего вида, содержащего односторонние производные, учитывающие знак $r_\alpha^{}(x,\,t)$. Для повышения до второго порядка точности по $h_\alpha^{}$ краевых условий третьего рода воспользовались уравнением в предположении, что оно справедливо и на границах. Исследование единственности и устойчивости решения проводилось с помощью метода энергетических неравенств. Получены априорные оценки решения разностной задачи в $L_2^{}$-норме, откуда следуют единственность решения, непрерывная и равномерная зависимость решения разностной задачи от входных данных, а также сходимость решения локально-одномерной разностной схемы к решению исходной дифференциальной задачи в $L_2^{}$-норме со скоростью, равной порядку аппроксимации разностной схемы. Для двумерной задачи построен алгоритм численного решения, проведены численные расчеты тестовых примеров, иллюстрирующие полученные в работе теоретические результаты.

Статья посвящена разработке вычислительного алгоритма метода декартовых сеток для исследования взаимодействия ударной волны с подвижными телами с кусочно-линейной границей. Интерес к подобным задачам связан с прямым численным моделированием течений двухфазных сред. Эффект формы частицы может иметь значение в задаче о диспергировании пылевого слоя за проходящей ударной волной. Экспериментальные данные по коэффициенту аэродинамического сопротивления несферических частиц практически отсутствуют.

Математическая модель основана на двумерных уравнениях Эйлера, которые решаются в области с подвижными границами. Определяющая система уравнений численно интегрируется по явной схеме с использованием метода декартовых сеток. Вычислительный алгоритм на шаге интегрирования по времени включает: определение величины шага, расчет динамики движения тела (определение силы и момента, действующих на тело; определение линейной и угловой скоростей тела; расчет новых координат тела), расчет параметров газа. На каждом шаге интегрирования по времени все ячейки делятся на два класса — внешние (внутри тела или пересекаются его границами) и внутренние (целиком заполнены газом). Решение уравнений Эйлера строится только во внутренних. Основная сложность заключается в расчете численного потока через ребра, общие для внутренних и внешних ячеек, пересекаемых подвижными границами тел. Для расчета этого потока используются двухволновое приближение при решении задачи Римана и схема Стигера–Уорминга. Представлено подробное описание вычислительного алгоритма.

Работоспособность алгоритма продемонстрирована на задаче о подъеме цилиндра с основанием в форме круга, эллипса и прямоугольника за проходящей ударной волной. Тест с круговым цилиндром рассмотрен во множестве статей, посвященных методам погруженной границы. Проведен качественный и количественный анализ траектории движения центра масс цилиндра на основании сравнения с результатами расчетов, представленными в восьми других работах. Для цилиндра с основанием в форме эллипса и прямоугольника получено удовлетворительное согласие по динамике его движения и вращения в сравнении с имеющимися немногочисленными литературными источниками. Для прямоугольника исследована сеточная сходимость результатов. Показано, что относительная погрешность выполнения закона сохранения суммарной массы газа в расчетной области убывает линейно при измельчении расчетной сетки.

В работе описывается двухстадийная модель равновесного распределения транспортных потоков. Модель состоит из двух блоков, где первый блок — модель расчета матрицы корреспонденций, а второй блок — модель равновесного распределения транспортных потоков по путям. Первая модель, используя матрицу транспортных затрат (затраты на перемещение из одного района в другой, в данном случае — время), рассчитывает матрицу корреспонденций, описывающую потребности в объемах передвижения из одного района в другой район. Для решения этой задачи предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийную модель. Вторая модель на базе равновесного принципа Нэша–Вардропа (каждый водитель выбирает кратчайший для себя путь) описывает, как именно потребности в перемещениях, задаваемые матрицей корреспонденций, распределяются по возможным путям. Таким образом, зная способы распределения потоков по путям, можно рассчитать матрицу затрат. Равновесием в двухстадийной модели транспортных потоков называют неподвижную точку цепочки из этих двух моделей. Практически ранее отмеченную задачу поиска неподвижной точки решали методом простых итераций. К сожалению, на данный момент вопрос сходимости и оценки скорости сходимости для этого метода не изучен. Кроме того, при численной реализации алгоритма возникает множество проблем. В частности, при неудачном выборе точки старта возникают ситуации, в которых алгоритм требует вычисления экстремально больших чисел и превышает размер доступной памяти даже в самых современных вычислительных машинах. Поэтому в статье предложены способ сведения задачи поиска описанного равновесия к задаче выпуклой негладкой оптимизации и численный способ решения полученной задачи оптимизации. Для обоих методов решения задачи были проведены численные эксперименты. Авторами использовались данные для Владивостока (для этого была обработана информация из различных источников и собрана в новый пакет) и двух небольших городов США. Методом простой прогонки двух блоков сходимости добиться не удалось, тогда как вторая модель для того же набора данных продемонстрировала скорость сходимости $k^{−1.67}$.

Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.

Предложен алгоритм идентификации параметров плоской вихревой структуры по информации о скорости теченияв конечном (малом) наборе опорных точек. Алгоритм основан на использовании модельной системы точечных вихрей и минимизации в пространстве ее параметров целевого функционала, оценивающего близость модельного и известного наборов векторов скорости. Для численной реализации используются модифицированный метод градиентного спуска с управлением шагом, аппроксимации производных конечными разностями, аналитическое выражение для поля скорости, индуцируемое модельной системой. Проведен численный экспериментальный анализ работы алгоритма на тестовых течениях: одного и системы нескольких точечных вихрей, вихря Рэнкина и диполя Ламба. Используемые дляид ентификации векторы скорости задавались в случайно распределенных наборах опорных точек (от 3 до 200) согласно известным аналитическим выражениям для тестовых полей скорости. В результате вычислений показано: алгоритм сходится к искомому минимуму из широкой области начальных приближений; алгоритм сходится во всех случаях когда опорные точки лежат в областях, где линии тока тестовой и модельной систем топологически эквивалентны; если системы топологически не эквивалентны, то доля удачных расчетов снижается, но сходимость алгоритма также может иметь место; координаты найденных в результате сходимости алгоритма вихрей модельной системы близки к центрам вихрей тестовых конфигураций, а во многих случаях и значения их интенсивностей; сходимость алгоритма в большей степени зависит от расположения, чем от количества используемых при идентификации векторов. Результаты исследования позволяют рекомендовать предложенный алгоритм для анализа плоских вихревых структур, у которых линии тока топологически близки траекториям частиц в поле скорости систем точечных вихрей.

В работе рассматриваются интегро-дифференциальные уравнения влагопереноса дробного порядка с оператором Бесселя. Изучаемые уравнения содержат оператор Бесселя, два оператора дробного дифференцирования Герасимова – Капуто с разными порядками $\alpha$ и $\beta$. Рассмотрены два вида интегро-дифференциальных уравнений: в первом случае уравнение содержит нелокальный источник, т.е. интеграл от неизвестной функции по переменной интегрирования $x$, а во втором — случае интеграл по временной переменной $\tau$, обозначающий эффект памяти. Подобные задачи возникают при изучении процессов с предысторией. Для решения дифференциальных задач при различных соотношениях $\alpha$ и $\beta$ получены априорные оценки в дифференциальной форме, откуда следуют единственность и устойчивость решения по правой части и начальным данным. Для приближенного решения поставленных задач построены разностные схемы с порядком аппроксимации $O(h^2+\tau^2)$ при $\alpha=\beta$ и $O(h^2+\tau^{2-\max\{\alpha,\beta\}})$ при $\alpha\neq\beta$. Исследование единственности, устойчивости и сходимости решения проводится с помощью метода энергетических неравенств. Получены априорные оценки решений разностных задач при различных соотношениях $\alpha$ и $\beta$, откуда следуют единственность и устойчивость, а также сходимость решения разностной схемы к решению исходной дифференциальной задачи со скоростью равной порядку аппроксимации разностной схемы.