Все выпуски

В данной работе приводятся нижние оценки скорости сходимости для класса численных методов выпуклой оптимизации первого порядка и выше, т. е. использующих градиент и старшие производные. Обсуждаются вопросы достижимости данных оценок. Приведенные в статье оценки замыкают известные на данный момент результаты в этой области. Отметим, что замыкание осуществляется без должного обоснования, поэтому в той общности, в которой данные оценки приведены в статье, их стоит понимать как гипотезу. Опишембо лее точно основной результат работы. Пожалуй, наиболее известнымм етодом второго порядка является метод Ньютона, использующий информацию о градиенте и матрице Гессе оптимизируемой функции. Однако даже для сильно выпуклых функций метод Ньютона сходится лишь локально. Глобальная сходимость метода Ньютона обеспечивается с помощью кубической регуляризации оптимизируемой на каждом шаге квадратичной модели функции [Nesterov, Polyak, 2006]. Сложность решения такой вспомогательной задачи сопоставима со сложностью итерации обычного метода Ньютона, т. е. эквивалентна по порядку сложности обращения матрицы Гессе оптимизируемой функции. В 2008 году Ю. Е. Нестеровымбыл предложен ускоренный вариант метода Ньютона с кубической регуляризацией [Nesterov, 2008]. В 2013 г. Monteiro – Svaiter сумели улучшить оценку глобальной сходимости ускоренного метода с кубической регуляризацией [Monteiro, Svaiter, 2013]. В 2017 году Arjevani – Shamir – Shiff показали, что оценка Monteiro – Svaiter оптимальна (не может быть улучшена более чем на логарифми- ческий множитель на классе методов 2-го порядка) [Arjevani et al., 2017]. Также удалось получить вид нижних оценок для методов порядка $p ≥ 2$ для задач выпуклой оптимизации. Отметим, что при этом для сильно выпуклых функций нижние оценки были получены только для методов первого и второго порядка. В 2018 году Ю. Е. Нестеров для выпуклых задач оптимизации предложил методы 3-го порядка, которые имеют сложность итерации сопоставимую со сложностью итерации метода Ньютона и сходятся почти по установленным нижним оценкам [Nesterov, 2018]. Таким образом, было показано, что методы высокого порядка вполне могут быть практичными. В данной работе приводятся нижние оценки для методов высокого порядка $p ≥ 3$ для сильно выпуклых задач безусловной оптимизации. Работа также может рассматриваться как небольшой обзор современного состояния развития численных методов выпуклой оптимизации высокого порядка.

Мы рассматриваем модель спонтанного формирования вычислительной структуры в мозге человека для решения заданного класса задач в процессе выполнения серии однотипных заданий. Модель основана на специальном определении числовой меры сложности алгоритма решения. Эта мера обладает информационным свойством: сложность вычислительной структуры, состоящей из двух независимых структур, равна сумме сложностей этих структур. Тогда вероятность спонтанного возникновения структуры экспоненциально зависит от сложности структуры. Коэффициент при экспоненте требует экспериментального определения для каждого типа задач. Он может зависеть от формы предъявления исходных данных и от процедуры выдачи результата. Этот метод оценки применен к результатам серии экспериментов, в которых определялась стратегия решения человеком серии однотипных задач с растущим числом исходных данных. Эти эксперименты были описаны в ранее изданных работах. Рассматривались две основные стратегии: последовательное выполнение вычислительного алгоритма или использование параллельных вычислений в тех задачах, где это эффективно. Эти стратегии различаются схемами проведения вычислений. Используя оценку сложности схем, можно по эмпирической вероятности одной из стратегий рассчитать вероятность другой. Проведенные вычисления показали хорошее совпадение расчетной и эмпирической вероятности. Это подтверждает гипотезу о спонтанном формировании структур, решающих задачу, в процессе начальной тренировки человека. Работа содержит краткое описание экспериментов, подробные вычислительные схемы и строгое определение меры сложности вычислительных структур и вывод зависимости вероятности формирования структуры от ее сложности.

Традиционные методы решения задачи коммивояжера не являются эффективными для задач высокой размерности из-за их высокой вычислительной сложности. Одним из эффективных способов решения этой проблемы является декомпозиционный подход, который включает в себя три основных этапа: кластеризацию вершин, решение подзадач внутри каждого кластера и последующее объединение полученных решений в итоговое. В данной статье основное внимание уделяется третьему этапу — объединению циклов решений подзадач, поскольку этому этапу не всегда уделяется должное внимание, что приводит к менее точному итоговому решению. В статье предлагается новый модифицированный алгоритм Сигала для объединения циклов. Для оценки его эффективности проводится сравнение с двумя алгоритмами объединения циклов: метод соединения средних точек ребер и алгоритм на основе близости центроидов кластеров. Исследуется зависимость качества решения подзадач на алгоритмы объединения циклов. Модифицированный алгоритм Сигала выполняет попарное объединение кластеров, минимизируя количество пересечений и общее расстояние. Метод центроидов ориентирован на соединение кластеров на основе близости центроидов, а алгоритм с использованием средних точек оценивает расстояние между средними точками ребер. Также были рассмотрены два типа кластеризации: алгоритмы k-means и affinity propagation. Для проверки эффективности предложенного алгоритма были проведены численные эксперименты на наборе данных TSPLIB с различным количеством городов. В исследовании анализируются ошибки, вызванные порядком объединения кластеров, качеством решения подзадач и количеством кластеров. Эксперименты показали, что модифицированный алгоритм Сигала демонстрирует наименьшую медиану итогового расстояния и наиболее устойчивые результаты по сравнению с другими методами. Результаты указывают на большую устойчивость качества конечного решения, полученным модифицированным алгоритмом Сигала, от последовательности объединения кластеров. Повышение качества решения подзадачи обычно приводит к линейному улучшению конечного решения, но используемый алгоритм объединения редко влияет на степень этого улучшения.

В работе предлагается новая версия метода Гаусса–Ньютона для решения системы нелинейных уравнений, основанная на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. Предложенная версия метода Гаусса–Ньютона на практике фактически задает целое параметризованное семейство методов решения систем нелинейных уравнений и задач восстановления регрессионной зависимости. Разработанное семейство методов Гаусса–Ньютона состоит целиком из итеративных методов, включающих в себя также специальные формы алгоритмов Левенберга–Марквардта, с обобщением на случаи применения в неевклидовых нормированных пространствах. В разработанных методах используется локальная модель, осуществляющая параметризованное проксимальное отображение и допускающая на практике применение неточного оракула в формате «черного ящика» с ограничением на точность вычисления и на сложность вычисления. Для разработанного семейства методов приведен анализ эффективности в терминах количества итераций алгоритма, точности и сложности представления локальной модели и вычисления оракула, параметров размерности решаемой задачи с выводом локальной и глобальной сходимости при использовании произвольного оракула. В работе представлены условия глобальной сублинейной сходимости для предложенного семейства методов решения системы нелинейных уравнений, состоящих из гладких по Липшицу функций. В рамках дополнительных естественных предположений о невырожденности системы нелинейных функций установлена локальная суперлинейная сходимость для рассмотренного семейства методов. При выполнении условия Поляка–Лоясиевича для системы нелинейных уравнений доказана локальная и глобальная линейная сходимость рассмотренных методов Гаусса–Ньютона. Помимо теоретического обоснования методов, в работе рассматриваются вопросы их практической реализации. В частности, в проведенных экспериментах для точного оракула приводятся схемы эффективного вычисления в зависимости от параметров размерности решаемой задачи. Предложенное семейство методов объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса–Ньютона, позволяя получить гибкий и удобный в использовании метод, реализуемый на практике с помощью стандартных техник выпуклой оптимизации и вычислительной линейной алгебры.

Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

В статье рассмотрены проблемы подготовки точных геометрических моделей стальных канатов, то есть геометрических моделей, основанных на математических моделях, позволяющих повторять геометрию моделируемого каната в трехмерном пространстве без существенных упрощений или условностей, с учетом целевого назначения модели. Предложены подходы к созданию точных геометрических моделей стальных канатов, не имеющих принципиальных ограничений по внедрению в расчетные области и дальнейшему построению конечно-элементных моделей на их основе. Рассмотрены обобщенная параметризованная геометрическая модель канатов одинарной и двойной свивки и ее алгоритмическая реализация с помощью ядра геометрического моделирования ОpenCASCADE Core Technology в среде Gmsh (свободно распространяемое программное обеспечение с открытым исходным кодом). Обозначена проблематика использования табличных данных из государственных и отраслевых стандартов сортамента стальных канатов как исходных данных для построения геометрических моделей стальных канатов. Разработаны методы априорной проверки коллизий геометрической модели на основе исходных данных геометрической модели и методы апостериорной проверки на основе булевых операций над телами проволок каната для выявления некорректных результатов генерации моделей тел проволок с криволинейными боковыми поверхностями на основе алгоритма последовательного иерархического построения отдельных проволок пряди и последовательного копирования прядей. Показаны особенности процесса построения геометрических моделей проволок каната различными методами экструзии: через последовательность образующих с формированием тела, ограниченного криволинейными поверхностями, через последовательность образующих с формированием тела, ограниченного линейно-аппроксимированными поверхностями, и экструзией одной образующей вдоль направляющей. Выполнена оценка вычислительной сложности процесса построения геометрических моделей и необходимого объема оперативной памяти ЭВМ для двух наиболее универсальных методов экструзии тел проволок. Разработан метод оценки значения шага расстановки образующих и исследовано влияние его значения на вычислительную сложность процедуры построения отдельных проволок каната. Даны рекомендации по выбору значения радиального зазора между проволоками. Показана алгоритмическая реализация метода поиска коллизий геометрической модели стального каната в неинтерактивном режиме и предложены подходы к формированию процедур обработки коллизий. Предложенные методы и подходы могут быть представлены в виде программных модулей как для исполнения в среде Gmsh, так и для иной среды, использующей ядро геометрического моделирования OpenCascade Core Technology, и позволяют автоматизировать построение точных геометрических моделей стальных канатов в любой конфигурации без принципиальных ограничений по последующему применению, как обособленному, так и в виде объектов (примитивов), пригодных для внедрения в стороннюю модель.

В статье исследуется одно из возможных решений задачи компенсации собственных помех (SIC, Self-Interference Cancellation), возникающей при проектировании полнодуплексных (IBFD, In-band Full-Duplex) систем связи. Подавление собственных помех осуществляется в цифровой области с помощью многослойных нелинейных моделей, которые адаптируются на основе метода градиентного спуска. Наличие локальных оптимумов и седловых точек при адаптации многослойных моделей делает невозможным использование методов второго порядка ввиду знаконеопределенности матрицы Гессе.

В данной работе предложено использовать смешанный метод Ньютона (MNM, mixed Newton method), который учитывает информацию о смешанных производных второго порядка функции потерь и, как следствие, обеспечивает высокую скорость сходимости по сравнению с традиционными методами первого порядка. Использование лишь только смешанных частных производных второго порядка при построении матрицы Гессе позволяет избежать проблемы «застревания» в седловых точках при использовании смешанного метода Ньютона для адаптации многослойных нелинейных компенсаторов собственных помех при проектировании полнодуплексных систем связи.

В качестве модели собственных нелинейных помех выбрана модель Гаммерштейна с комплексными параметрами. Данный выбор обусловлен тем, что модель эффективно описывает физические свойства, лежащие в основе формирования собственных помех. Благодаря свойству голоморфности выхода модели смешанный метод Ньютона обеспечивает свойство «отталкивания» от седловых точек в ландшафте функции потерь.

В работе приводятся кривые сходимости при адаптации модели Гаммерштейна смешанным методом Ньютона, а также при помощи классических подходов на основе метода градиентного спуска. Кроме того, приводится вывод предложенного метода, а также оценка вычислительной сложности.

Работа посвящена построению эффективных и применимых к реальным задачам методов выпуклой оптимизации первого порядка, то есть использующих только значения целевой функции и ее производных. При построении используется быстрый градиентный метод OGM-G, который является оптимальным по оракульной сложности (числу вычислений градиента целевой функции), но при запуске требует знания констант сильной выпуклости и Липшица градиента для вычисления количества шагов и длины шага, требуемых для достижения заданной точности. Данное требование усложняет практическое использование метода. Предлагаются адаптивный по константе сильной выпуклости алгоритм ACGM, основанный на рестартах OGM-G с обновлениемо ценки константы сильной выпуклости, и адаптивный по константе Липшица градиента метод ALGM, в котором применение рестартов OGM-G дополнено подбором константы Липшица с проверкой условий гладкости, используемых в методе универсального градиентного спуска. При этом устраняются недостатки исходного метода, связанные с необходимостью знания данных констант, что делает возможным практическое использование. Доказывается, что оценки сложности построенных алгоритмов являются оптимальными с точностью до числового множителя. Для проверки полученных результатов проводятся эксперименты на модельных функциях и реальных задачах машинного обучения.

Эффективность подвижных робототехнических комплексов (ПРТК), осуществляющих мониторинг дорожной обстановки, городской инфраструктуры, последствий чрезвычайных ситуаций и пр., напрямую зависит от качества функционирования систем технического зрения, являющихся важнейшей частью ПРТК. В свою очередь, точность обработки изображений в системах технического зрения в существенной степени зависит от точности пространственной ориентации видеокамеры, размещаемой на ПРТК. Но при размещении видеокамер на ПРТК резко возрастает уровень погрешностей их пространственной ориентации, вызванных ветровыми и сейсмическими колебаниями мачты, движением ПРТК по пересеченной местности и пр. В связи с этим в статье рассмотрено общее решение задачи стохастической оценки параметров пространственной ориентации видеокамер в условиях как случайных колебаний мачты, так и произвольного характера движения ПРТК. Так как методы решения данной задачи на основе спутниковых измерений при высокой интенсивности естественных и искусственных радиопомех (способы формирования которых постоянно совершенствуются) не в состоянии обеспечить требуемую точность решения, то в основу предложенного подхода положено использование автономных средств измерения — инерциальных и неинерциальных. Но при их использовании возникает проблема построенияи стохастической оценки общей модели движения видеокамеры, сложность которой определяется произвольным движением ПРТК, случайными колебаниями мачты, помехами измеренияи др. В связи с нерешенностью данной проблемы на сегодняшний день в статье рассмотрен синтез как модели движения видеокамеры в самом общем случае, так и стохастической оценки ее параметров состояния. При этом разработанный алгоритм совместной оценки параметров пространственной ориентации видеокамеры, размещенной на мачте ПРТК, является инвариантным и к характеру движения мачты, и видеокамеры, и самого ПРТК, обеспечивая при этом устойчивость и требуемую точность оценивания при самых общих предположениях о характере помех чувствительных элементов используемого автономного измерительного комплекса. Результаты численного эксперимента позволяют сделать вывод о возможности практического применения предложенного подхода для решения задачи текущей пространственной ориентации ПРТК и размещенных на них видеокамер, причем с использованием недорогих автономных средств измерения.

Предложена конечно-элементная модель биомеханической системы адекватной сложности (с пространственными, оболочечными и балочными элементами), состоящая из имитатора большеберцовой кости с регенерирующей тканью в месте перелома и аппарата Илизарова. Модель позволяет задавать ортотропные упругие свойства материалов имитатора кости (областей компактной и спонгиозной тканей), вводить неоднородные жесткостные свойства регенерирующей ткани в зоне места перелома, изменять базовые геометрические и механические характеристики модели и параметры конечно-элементной сетки, а также задавать различные внешние воздействия, связанные с нагрузкой на имитатор кости и компрессией или дистракцией между репонирующими кольцами аппарата Илизарова.

С использованием разработанных программ на командном языке APDL в конечноэлементном комплексе ANSYS проведены расчеты напряженно-деформированного состояния в зоне перелома при варьировании статических сжимающих нагрузок на имитатор кости, величин перемещений репонирующих колец аппарата Илизарова и жесткостных свойств соединительной ткани костной мозоли на различных этапах сращения перелома (гелеобразной, хрящевой, спонгиозной и нормальной костных тканей). Представленная методология и разработанные программы позволяют проводить оценки допустимых величин внешних нагрузок на костьи величин перемещений репонирующих колец аппарата Илизарова на различных этапах регенерации кости в процессе заживления, исходя из априорно задаваемых критериев допуска на максимальные характеристики напряжений в костной мозоли. Предлагаемые подходы могут бытьиспо льзованы в клинических условиях при планировании, реализации и контроле силовых режимов работы при чрескостном остеосинтезе аппаратом Илизарова.