Все выпуски

В данной работе приводятся нижние оценки скорости сходимости для класса численных методов выпуклой оптимизации первого порядка и выше, т. е. использующих градиент и старшие производные. Обсуждаются вопросы достижимости данных оценок. Приведенные в статье оценки замыкают известные на данный момент результаты в этой области. Отметим, что замыкание осуществляется без должного обоснования, поэтому в той общности, в которой данные оценки приведены в статье, их стоит понимать как гипотезу. Опишембо лее точно основной результат работы. Пожалуй, наиболее известнымм етодом второго порядка является метод Ньютона, использующий информацию о градиенте и матрице Гессе оптимизируемой функции. Однако даже для сильно выпуклых функций метод Ньютона сходится лишь локально. Глобальная сходимость метода Ньютона обеспечивается с помощью кубической регуляризации оптимизируемой на каждом шаге квадратичной модели функции [Nesterov, Polyak, 2006]. Сложность решения такой вспомогательной задачи сопоставима со сложностью итерации обычного метода Ньютона, т. е. эквивалентна по порядку сложности обращения матрицы Гессе оптимизируемой функции. В 2008 году Ю. Е. Нестеровымбыл предложен ускоренный вариант метода Ньютона с кубической регуляризацией [Nesterov, 2008]. В 2013 г. Monteiro – Svaiter сумели улучшить оценку глобальной сходимости ускоренного метода с кубической регуляризацией [Monteiro, Svaiter, 2013]. В 2017 году Arjevani – Shamir – Shiff показали, что оценка Monteiro – Svaiter оптимальна (не может быть улучшена более чем на логарифми- ческий множитель на классе методов 2-го порядка) [Arjevani et al., 2017]. Также удалось получить вид нижних оценок для методов порядка $p ≥ 2$ для задач выпуклой оптимизации. Отметим, что при этом для сильно выпуклых функций нижние оценки были получены только для методов первого и второго порядка. В 2018 году Ю. Е. Нестеров для выпуклых задач оптимизации предложил методы 3-го порядка, которые имеют сложность итерации сопоставимую со сложностью итерации метода Ньютона и сходятся почти по установленным нижним оценкам [Nesterov, 2018]. Таким образом, было показано, что методы высокого порядка вполне могут быть практичными. В данной работе приводятся нижние оценки для методов высокого порядка $p ≥ 3$ для сильно выпуклых задач безусловной оптимизации. Работа также может рассматриваться как небольшой обзор современного состояния развития численных методов выпуклой оптимизации высокого порядка.

В работе рассмотрена задача минимизации выпуклого и, вообще говоря, негладкого функционала $f$ при наличии липшицевого неположительного выпуклого негладкого функционального ограничения $g$. При этом обоснованы оценки скорости сходимости методов адаптивного зеркального спуска также и для случая квазивыпуклого целевого функционала в случае выпуклого функционального ограничения. Предложен также метод и для задачи минимизации квазивыпуклого целевого функционала с квазивыпуклым неположительным функционалом ограничения. В работе предложен специальный подход к выбору шагов и количества итераций в алгоритме зеркального спуска для рассматриваемого класса задач. В случае когда значения норм (суб)градиентов функциональных ограничений достаточно велики, предложенный подход к выбору шагов и остановке метода может ускорить работу метода по сравнению с его аналогами. В работе приведены численные эксперименты, демонстрирующие преимущества использования таких методов. Также показано, что методы применимы к целевым функционалам различных уровней гладкости. В частности, рассмотрен класс гёльдеровых целевых функционалов. На базе техники рестартов для рассмотренного варианта метода зеркального спуска был предложен оптимальный метод решения задач оптимизации с сильно выпуклыми целевыми функционалами. Получены оценки скорости сходимости рассмотренных алгоритмов для выделенных классов оптимизационных задач. Доказанные оценки демонстрируют оптимальность рассматриваемых методов с точки зрения теории нижних оракульных оценок.

Большой класс задач описывает физические процессы, протекающие в невыпуклых областях, содержащих угол больший 180 градусов на границе. Решение в окрестности такого угла сингулярно, а его отыскание, при использовании классических подходов, влечет за собой потерю точности. В представленной работе рассмотрены стационарные, линеаризованные с помощью итераций Пикара несжимаемые уравнения Навье – Стокса течения вязкой жидкости в конвективной форме в $L$-образной области. Определено $R_\nu$-обобщенное решение задачи в специальных множествах весовых пространств. Для нахождения приближенного $R_\nu$-обобщенного решения построен специальный метод конечных элементов. Во-первых, пространства конечно-элементных функций удовлетворяют закону сохранения массы в сильном смысле, то есть в узлах сетки. Для этой цели используется Скотт – Вогелиус конечно-элементная пара. Выполнение закона сохранения массы ведет к отысканию более точного с физической точки зрения решения. Во-вторых, базисные функции конечномерных пространств дополнены весовыми функциями как множителями, которые совпадают с расстоянием от точки до вершины тупого угла в $\delta$-окрестности точки сингулярности и радиусом $\delta$ вне ее. Степень весовой функции, как и параметр $\nu$ в определении $R_\nu$-обобщенного решения, так и радиус $\delta$-окрестности точки сингулярности являются свободными параметрами метода. Специально подобранная их комбинация приводит к увеличению порядка сходимости приближенного решения к точному решению задачи почти в два раза по сравнению с классическими подходами и достигает единицы по шагу сетки в нормах весовых пространств Соболева. Таким образом, установлено, что скорость сходимости не зависит от величины угла.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

Акустико-эмиссионный метод неразрушающего контроля является одним из эффективных и экономичных способов обследования сосудов высокого давления для поиска в них скрытых дефектов (трещин, расслоений и др.), а также единственным методом, чувствительным к развивающимся дефектам. Скорость распространения звука в объекте контроля и ее адекватное определение в локационной схеме имеют важнейшее значение для точности локации источника акустической эмиссии. Предложенный в статье метод обработки данных акустической эмиссии позволяет определить координаты источника и наиболее вероятную скорость для каждого сигнала. Метод включает в себя предварительную фильтрацию данных по амплитуде, по разности времен прихода, исключение электромагнитных помех. Далее к ним применяется комплекс численных методов для решения получившихся нелинейных уравнений, в частности метод Ньютона–Канторовича и общий итерационный процесс. Скорость распространения сигнала от одного источника принимается постоянной во всех направлениях. В качестве начального приближения берется центр тяжести треугольника, образованного первыми тремя датчиками, зафиксировавшими сигнал. Разработанный метод имеет важное практическое применение, и в статье приведен пример его апробации при калибровке акустико- эмиссионной системы на производственном объекте (абсорбере очистки углеводородного газа). Описаны критерии предварительной фильтрации данных. Полученные локации хорошо согласуются с местоположениями генерации сигналов, а вычисленные скорости четко отражают разделение акустической волны на волны Лэмба и Рэлея благодаря разноудаленности источников сигналов от датчиков. В статье построен график соответствия усредненной скорости сигнала и расстояния от его источника до ближайшего датчика. Основным достоинством разработанного метода можно считать его способность вычислять и отображать на общей схеме объекта местоположение сигналов, имеющих разные скорости, а не задавать единую скорость для всех сигналов акустической эмиссии в рамках одного расчета. Это позволяет увеличить степень свободы при вычислениях и тем самым увеличить их точность.

Рассматривается нелинейная колебательная система, описываемая обыкновенными дифференциальными уравнениями с переменными коэффициентами, в которой в явном виде выделяются члены, линейно зависящие от координат, скоростей и ускорений; нелинейные члены записываются в виде неявных функций от этих переменных. Для численного решения начальной задачи, описываемой такой системой дифференциальных уравнений, используется одношаговый метод Галёркина. На шаге интегрирования неизвестные функции представляются в виде суммы линейных функций, удовлетворяющих начальным условиям, и нескольких заданных корректирующих функций в виде полиномов второй и выше степеней с неизвестными коэффициентами. Дифференциальные уравнения на шаге удовлетворяются приближенно по методу Галёркина на системе корректирующих функций. Получаются алгебраические уравнения с нелинейными членами, которые на каждом шаге решаются методом итераций. Из решения в конце каждого шага определяются начальные условия на следующем шаге.

Корректирующие функции берутся одинаковыми для всех шагов. В общем случае для расчетов на больших интервалах времени используются 4 или 5 корректирующих функций: в первом наборе — базовые степенные функции от 2-й до 4-й или 5-й степеней; во втором наборе — образованные из базовых функций ортогональные степенные полиномы; в третьем наборе — образованные из базовых функций специальные линейно независимые многочлены с конечными условиями, упрощающими «стыковку» решений на следующих шагах.

На двух примерах расчета нелинейных колебаний систем с одной и с двумя степенями свободы выполнены численные исследования точности численного решения начальных задач на различных интервалах времени по методу Галёркина с использованием указанных наборов степенных корректирующих функций. Выполнены сравнения результатов, полученных по методу Галёркина и по методам Адамса и Рунге – Кутты четвертого порядка. Показано, что методом Галёркина можно получить достоверные результатына значительно больших интервалах времени, чем по методам Адамса и Рунге – Кутты.

Распространение устойчивых когерентных образований электромагнитного поля в нелинейных средах с меняющимися в пространстве параметрами может быть описано в рамках итераций нелинейных интегральных преобразований. Показано что для ряда актуальных геометрий задач нелинейной оптики численное моделирование путем сведения к динамическим системам с дискретным временем и непрерывными пространственными переменными, основанное на итерациях локальных нелинейных отображений Фейгенбаума и Икеды, а также нелокальных диффузионно-дисперсионных линейных интегральных преобразований, эквивалентно в довольно широком диапазоне параметров дифференциальным уравнениям в частных производных типа Гинзбурга–Ландау. Такие нелокальные отображения, представляющие собой при численной реализации произведения матричных операторов, оказываются устойчивыми численно-разностными схемами, обеспечивают быструю сходимость и адекватную аппроксимацию решений. Реалистичность данного подхода позволяет учитывать влияние шумов на нелинейную динамику путем наложения на расчетный массив чисел при каждой итерации пространственного шума, задаваемого в виде многомодового случайного процесса, и производить отбор устойчивых волновых конфигураций. Нелинейные волновые образования, описываемые данным методом, включают оптические фазовые сингулярности, пространственные солитоны и турбулентные состояния с быстрым затуханием корреляций. Определенный интерес представляют полученные данным численным методом периодические конфигурации электромагнитного поля, возникающие в результате фазовой синхронизации, такие как оптические решетки и самоорганизованные вихревые кластеры.

В работе предлагается новая версия метода Гаусса–Ньютона для решения системы нелинейных уравнений, основанная на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. Предложенная версия метода Гаусса–Ньютона на практике фактически задает целое параметризованное семейство методов решения систем нелинейных уравнений и задач восстановления регрессионной зависимости. Разработанное семейство методов Гаусса–Ньютона состоит целиком из итеративных методов, включающих в себя также специальные формы алгоритмов Левенберга–Марквардта, с обобщением на случаи применения в неевклидовых нормированных пространствах. В разработанных методах используется локальная модель, осуществляющая параметризованное проксимальное отображение и допускающая на практике применение неточного оракула в формате «черного ящика» с ограничением на точность вычисления и на сложность вычисления. Для разработанного семейства методов приведен анализ эффективности в терминах количества итераций алгоритма, точности и сложности представления локальной модели и вычисления оракула, параметров размерности решаемой задачи с выводом локальной и глобальной сходимости при использовании произвольного оракула. В работе представлены условия глобальной сублинейной сходимости для предложенного семейства методов решения системы нелинейных уравнений, состоящих из гладких по Липшицу функций. В рамках дополнительных естественных предположений о невырожденности системы нелинейных функций установлена локальная суперлинейная сходимость для рассмотренного семейства методов. При выполнении условия Поляка–Лоясиевича для системы нелинейных уравнений доказана локальная и глобальная линейная сходимость рассмотренных методов Гаусса–Ньютона. Помимо теоретического обоснования методов, в работе рассматриваются вопросы их практической реализации. В частности, в проведенных экспериментах для точного оракула приводятся схемы эффективного вычисления в зависимости от параметров размерности решаемой задачи. Предложенное семейство методов объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса–Ньютона, позволяя получить гибкий и удобный в использовании метод, реализуемый на практике с помощью стандартных техник выпуклой оптимизации и вычислительной линейной алгебры.

В работе проведен краткий обзор имеющихся подходов к расчету разрушения твердых тел. Основное внимание уделено алгоритмам, использующим единый подход к расчету деформирования и для неразрушенного, и для разрушенного состояний материала. Представлен термодинамический вывод единых реологических соотношений, учитывающих упругие, вязкие и пластические свойства материалов и описывающих потерю способности сопротивления деформации по мере накопления микроповреждений. Показано, что рассматриваемая математическая модель обеспечивает непрерывную зависимость решения от входных параметров (параметров материальной среды, начальных и граничных условий, параметров дискретизации) при разупрочнении материала.

Представлены явные и неявные безматричные алгоритмы расчета эволюции деформирования. Неявные схемы реализованы с использованием итераций метода сопряженных градиентов, при этом расчет каждой итерации в точности совпадает с расчетом шага по времени для двухслойных явных схем. Так что алгоритмы решения являются очень простыми.

Приведены результаты решения типовых задач разрушения твердых деформируемых тел для медленных (квазистатических) и быстрых (динамических) процессов деформации. На основании опыта рас- четов даны рекомендации по моделированию процессов разрушения и обеспечению достоверности численных решений.

В работе описывается двухстадийная модель равновесного распределения транспортных потоков. Модель состоит из двух блоков, где первый блок — модель расчета матрицы корреспонденций, а второй блок — модель равновесного распределения транспортных потоков по путям. Первая модель, используя матрицу транспортных затрат (затраты на перемещение из одного района в другой, в данном случае — время), рассчитывает матрицу корреспонденций, описывающую потребности в объемах передвижения из одного района в другой район. Для решения этой задачи предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийную модель. Вторая модель на базе равновесного принципа Нэша–Вардропа (каждый водитель выбирает кратчайший для себя путь) описывает, как именно потребности в перемещениях, задаваемые матрицей корреспонденций, распределяются по возможным путям. Таким образом, зная способы распределения потоков по путям, можно рассчитать матрицу затрат. Равновесием в двухстадийной модели транспортных потоков называют неподвижную точку цепочки из этих двух моделей. Практически ранее отмеченную задачу поиска неподвижной точки решали методом простых итераций. К сожалению, на данный момент вопрос сходимости и оценки скорости сходимости для этого метода не изучен. Кроме того, при численной реализации алгоритма возникает множество проблем. В частности, при неудачном выборе точки старта возникают ситуации, в которых алгоритм требует вычисления экстремально больших чисел и превышает размер доступной памяти даже в самых современных вычислительных машинах. Поэтому в статье предложены способ сведения задачи поиска описанного равновесия к задаче выпуклой негладкой оптимизации и численный способ решения полученной задачи оптимизации. Для обоих методов решения задачи были проведены численные эксперименты. Авторами использовались данные для Владивостока (для этого была обработана информация из различных источников и собрана в новый пакет) и двух небольших городов США. Методом простой прогонки двух блоков сходимости добиться не удалось, тогда как вторая модель для того же набора данных продемонстрировала скорость сходимости $k^{−1.67}$.