Все выпуски

Нахождение глобального минимума невыпуклых функций — одна из ключевых и самых сложных проблем современной оптимизации. В этой работе мы рассматриваем отдельные классы невыпуклых задач, которые имеют четкий и выраженный глобальный минимум.

В первой части статьи мы рассматриваем два класса «хороших» невыпуклых функций, которые могут быть ограничены снизу и сверху параболической функцией. Такой класс задач не исследован широко в литературе, хотя является довольно интересным с прикладной точки зрения. Более того, для таких задач методы первого и более высоких порядков могут быть абсолютно неэффективны при поиске глобального минимума. Это связано с тем, что функция может сильно осциллировать или может быть сильно зашумлена. Поэтому наши новые методы используют информацию только нулевого порядка и основаны на поиске по сетке. Размер и мелкость этой сетки, а значит, и гарантии скорости сходимости и оракульной сложности зависят от «хорошести» задачи. В частности, мы показываем, если функция зажата довольно близкими параболическими функциями, то сложность не зависит от размерности задачи. Мы показываем, что наши новые методы сходятся с линейной скоростью сходимости $\log(1/\varepsilon)$ к глобальному минимуму на кубе.

Во второй части статьи мы рассматриваем задачу невыпуклой оптимизации с другого ракурса. Мы предполагаем, что целевая минимизируемая функция есть сумма выпуклой квадратичной задачи и невыпуклой «шумовой» функции, пропорциональной по модулю расстоянию до глобального решения. Рассмотрение функций с такими предположениями о шуме для методов нулевого порядка является новым в литературе. Для такой задачи мы используем классический безградиентный подход с аппроксимацией градиента через конечную разность. Мы показываем, как можно свести анализ сходимости для нашей задачи к стандартному анализу для задач выпуклой оптимизации. В частности, и для таких задач мы добиваемся линейной скорости сходимости.

Экспериментальные результаты подтверждают работоспособность и практическую применимость всех полученных методов.

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

В работе предлагается новая версия метода Гаусса–Ньютона для решения системы нелинейных уравнений, основанная на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. Предложенная версия метода Гаусса–Ньютона на практике фактически задает целое параметризованное семейство методов решения систем нелинейных уравнений и задач восстановления регрессионной зависимости. Разработанное семейство методов Гаусса–Ньютона состоит целиком из итеративных методов, включающих в себя также специальные формы алгоритмов Левенберга–Марквардта, с обобщением на случаи применения в неевклидовых нормированных пространствах. В разработанных методах используется локальная модель, осуществляющая параметризованное проксимальное отображение и допускающая на практике применение неточного оракула в формате «черного ящика» с ограничением на точность вычисления и на сложность вычисления. Для разработанного семейства методов приведен анализ эффективности в терминах количества итераций алгоритма, точности и сложности представления локальной модели и вычисления оракула, параметров размерности решаемой задачи с выводом локальной и глобальной сходимости при использовании произвольного оракула. В работе представлены условия глобальной сублинейной сходимости для предложенного семейства методов решения системы нелинейных уравнений, состоящих из гладких по Липшицу функций. В рамках дополнительных естественных предположений о невырожденности системы нелинейных функций установлена локальная суперлинейная сходимость для рассмотренного семейства методов. При выполнении условия Поляка–Лоясиевича для системы нелинейных уравнений доказана локальная и глобальная линейная сходимость рассмотренных методов Гаусса–Ньютона. Помимо теоретического обоснования методов, в работе рассматриваются вопросы их практической реализации. В частности, в проведенных экспериментах для точного оракула приводятся схемы эффективного вычисления в зависимости от параметров размерности решаемой задачи. Предложенное семейство методов объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса–Ньютона, позволяя получить гибкий и удобный в использовании метод, реализуемый на практике с помощью стандартных техник выпуклой оптимизации и вычислительной линейной алгебры.

Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.

В работе представлена модель тепловых пристеночных функций FlowVision (WFFV), позволяющая моделировать неизотермические течения жидкости и газа около твердых поверхностей на относительно грубых сетках с использованием различных моделей турбулентности. Настоящая работа продолжает исследование по разработке модели пристеночных функций, применимой в широком диапазоне значений величины y+. Модель WFFV предполагает гладкие профили касательной составляющей скорости, турбулентной вязкости, температуры и турбулентной теплопроводности около твердой поверхности. В работе исследуется возможность использования простой алгебраической модели для вычисления переменного турбулентного числа Прандтля, входящего в модель WFFV в качестве параметра. Результаты удовлетворительные. Обсуждаются особенности реализации модели WFFV в программном комплексе FlowVision. В частности, обсуждается граничное условие для уравнения энергии, используемое в высокорейнольдсовых расчетах неизотермических течений. Граничное условие выводится для уравнения энергии, записанного через термодинамическую энтальпию, и для уравнения энергии, записанного через полную энтальпию. Возможности модели демонстрируются на двух тестовых задачах: течение несжимаемой жидкости около пластины и сверхзвуковое течение газа около пластины (M = 3).

Анализ литературы показывает, что в экспериментальных данных и, как следствие, в эмпирических корреляциях для числа Стэнтона (безразмерного теплового потока) присутствует существенная неопределенность. Результаты расчетов дают основание полагать, что значения параметров модели WFFV, автоматически задаваемые в программе по умолчанию, позволяют рассчитывать тепловые потоки на твердых протяженных поверхностях с инженерной погрешностью. В то же время очевидно, что невозможно изобрести универсальные пристеночные функции. По этой причине управляющие параметры модели WFFV выведены в интерфейс FlowVision. При необходимости пользователь может настраивать модель на нужный класс течений.

Предлагаемая модель пристеночных функций совместима со всеми реализованными в программном комплексе FlowVision моделями турбулентности: Смагоринского, Спаларта–Аллмараса, SST $k-\omega$, $k-\varepsilon$ стандартной, $k-\varepsilon$ Abe Kondoh Nagano, $k-\varepsilon$ квадратичной и $k-\varepsilon$ FlowVision.

В данной работе рассматриваются задачи выпуклой стохастической оптимизации, возникающие в анализе данных (минимизация функции риска), а также в математической статистике (минимизация функции правдоподобия). Такие задачи могут быть решены как онлайн-, так и офлайн-методами (метод Монте-Карло). При офлайн-подходе исходная задача заменяется эмпирической задачей — задачей минимизации эмпирического риска. В современном машинном обучении ключевым является следующий вопрос: какой размер выборки (количество слагаемых в функционале эмпирического риска) нужно взять, чтобы достаточно точное решение эмпирической задачи было решением исходной задачи с заданной точностью. Базируясь на недавних существенных продвижениях в машинном обучении и оптимизации для решения выпуклых стохастических задач на евклидовых шарах (или всем пространстве), мы рассматриваем случай произвольных шаров в $p$-нормах и исследуем, как влияет выбор параметра $p$ на оценки необходимого числа слагаемых в функции эмпирического риска.

В данной работе рассмотрены как выпуклые задачи оптимизации, так и седловые. Для сильно выпуклых задач были обобщены уже имеющиеся результаты об одинаковых размерах выборки в обоих подходах (онлайн и офлайн) на произвольные нормы. Более того, было показано, что условие сильной выпуклости может быть ослаблено: полученные результаты справедливы для функций, удовлетворяющих условию квадратичного роста. В случае когда данное условие не выполняется, предлагается использовать регуляризацию исходной задачи в произвольной норме. В отличие от выпуклых задач седловые задачи являются намного менее изученными. Для седловых задач размер выборки был получен при условии $\gamma$-роста седловой функции по разным группам переменных. Это условие при $\gamma = 1$ есть не что иное, как аналог условия острого минимума в выпуклых задач. В данной статье было показано, что размер выборки в случае острого минимума (седла) почти не зависит от желаемой точности решения исходной задачи.

В этой статье мы предлагаем новый метод первого порядка для композитных невыпуклых задач минимизации с простыми ограничениями и неточным оракулом. Целевая функция задается как сумма «сложной», возможно, невыпуклой части с неточным оракулом и «простой» выпуклой части. Мы обобщаем понятие неточного оракула для выпуклых функций на случай невыпуклых функций. Неформально говоря, неточность оракула означает, что для «сложной» части в любой точке можно приближенно вычислить значение функции и построить квадратичную функцию, которая приближенно ограничивает эту функцию сверху. Рассматривается два возможных типа ошибки: контролируемая, которая может быть сде- лана сколь угодно маленькой, например, за счет решения вспомогательной задачи, и неконтролируемая. Примерами такой неточности являются: гладкие невыпуклые функции с неточным и непрерывным по Гёльдеру градиентом, функции, заданные вспомогательной равномерно вогнутой задачей максимизации, которая может быть решена лишь приближенно. Для введенного класса задачм ы предлагаем метод типа проекции градиента / зеркального спуска, который позволяет использовать различные прокс-функции для задания неевклидовой проекции на допустимое множество и более гибкой адаптации к геометрии допустимого множества; адаптивно выбирает контролируемую ошибку оракула и ошибку неевклидового проектирования; допускает неточное проксимальное отображение с двумя типами ошибки: контролируемой и неконтролируемой. Мы доказываем скорость сходимости нашего метода в терминах нормы обобщенного градиентного отображения и показываем, что в случае неточного непрерывного по Гёльдеру градиента наш метод является универсальным по отношению к параметру и константе Гёльдера. Это означает, что методу не нужно знание этих параметров для работы. При этом полученная оценка сложности является равномерно наилучшей при всех параметрах Гёльдера. Наконец, в частном случае показано, что малое значение нормы обобщенного градиентного отображения в точке означает, что в этой точке приближенно выполняется необходимое условие локального минимума.

Рассматривается нелинейная краевая задача водородопроницаемости, соответствующая следующему эксперименту. Нагретая до достаточно высокой температуры мембрана из исследуемого конструкционного материала служит перегородкой вакуумной камеры. После предварительного вакуумирования и практически полной дегазации на входной стороне создается постоянное давление газообразного (молекулярного) водорода. С выходной стороны в условиях вакуумирования с помощью масс-спектрометра определяется проникающий поток.

Принята линейная модель зависимости коэффициента диффузии растворенного атомарного водорода в объеме от концентрации, температурная зависимость в соответствии с законом Аррениуса. Поверхностные процессы растворения и сорбции-десорбции учтены в форме нелинейных динамических краевых условий (дифференциальные уравнения динамики поверхностных концентраций атомарного водорода). Математическая особенность краевой задачи состоит в том, что производные по времени от концентраций входят как в уравнение диффузии, так и в граничные условия с квадратичной нелинейностью. В терминах общей теории функционально-дифференциальных уравнений это приводит к так называемым уравнениям нейтрального типа и требует разработки более сложного математического аппарата. Представлен итерационный вычислительный алгоритм второго (повышенного) порядка точности решения соответствующей нелинейной краевой задачи на основе явно-неявных разностных схем. Явная составляющая применяется к более медленным подпроцессам, что позволяет на каждом шаге избегать решения нелинейной системы уравнений.

Приведены результаты численного моделирования, подтверждающие адекватность модели экспериментальным данным. Определены степени влияния вариаций параметров водородопроницаемости («производные») на проникающий поток и распределение концентрации атомов H по толщине образца, что важно, в частности, для задач проектирования защитных конструкций от водородного охрупчивания и мембранных технологий получения особо чистого водорода. Вычислительный алгоритм позволяет использовать модель и при анализе экстремальных режимов для конструкционных материалов (перепады давления, высокие температуры, нестационарный нагрев), выявлять лимитирующие факторы при конкретных условиях эксплуатации и экономить на дорогостоящих экспериментах (особенно это касается дейтерий-тритиевых исследований).

Данная работа посвящена сравнительному анализу оптимизационных методов и алгоритмов для проведения интервальной оценки технических потерь электроэнергии в распределительных сетях напряжением 6–20 кВ. Задача интервальной оценки потерь сформулирована в виде задачи многомерной условной минимизации/максимизации с неявной целевой функцией. Рассмотрен ряд методов численной оптимизации первого и нулевого порядков, с целью определения наиболее подходящего для решения рассмотренной проблемы. Таким является алгоритм BOBYQA, в котором целевая функция заменяется ее квадратичной аппроксимацией в пределах доверительной области.

В настоящее время наиболее распространенный подход к расчету оптимальных по Нэшу–Курно стратегий участников олигополистических рынков, а следовательно и показателей таких рынков, связан с использованием линейных динамических игр с квадратичными критериями и решением обобщенных матричных уравнений Риккати.

Другой подход к исследованию оптимальных разомкнутых (open-loop) стратегий участников олигополистических рынков, развиваемый автором, основан на использовании операционного исчисления (в частности, Z-преобразования). Этот подход позволяет получить экономически приемлемые решения для более широкого диапазона изменения параметров используемых моделей, чем при применении методов, основанных на решении обобщенных матричных уравнений Риккати. Метод отличается относительной простотой вычислений и необходимой для экономического анализа наглядностью. Одним из его достоинств является то, что во многих важных для экономической практики случаях он, в отличие от традиционного подхода, обеспечивает возможность проведения расчетов с использованием широко распространенных электронных таблиц, что позволяет проводить исследование перспектив развития олигополистических рынков широкому кругу специалистов и потребителей.

В статье рассматриваются практические аспекты определения оптимальных по Нэшу–Курно стратегий участников олигополистических рынков на основе операционного исчисления, в частности техника проведения расчетов оптимальных по Нэшу–Курно стратегий в среде Excel. В качестве иллюстрации возможностей предлагаемых методов расчета исследуются примеры, близкие к практическим задачам прогнозирования показателей рынков высокотехнологичной продукции.

Полученные автором для многочисленных примеров и реальных экономических систем результаты расчетов, как с использованием полученных соотношений на основе электронных таблиц, так и с использованием расширенных уравнений Риккати, оказываются весьма близкими. В большинстве рассмотренных практических задач отклонение рассчитанных в соответствии с двумя подходами показателей, как правило, не превышает 1.5–2 %. Наибольшая величина относительных отклонений (до 3–5 %) наблюдается в начале периода прогнозирования. В типичных случаях период сравнительно заметных отклонений составляет 3–5 моментов времени. После переходного периода наблюдается практически полное совпадение значений искомых показателей при использовании обоих подходов.