Все выпуски

Рассматривается численно устойчивый прямой мультипликативный алгоритм решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество алгоритма состоит в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью $LU$-разложения, просто другая схема реализации метода исключения Гаусса.

В данной работе этот алгоритм лежит в основе решения следующих задач.

Задача 1. Задание направления спуска в ньютоновских методах безусловной оптимизации путем интеграции одной из известных техник построения существенно положительно определенной матрицы. Такой подход позволяет ослабить или снять дополнительные специфические трудности, обусловленные необходимостью решения больших систем уравнений с разреженными матрицами, представленных в упакованном виде.

Задача 2. Построение новой математической формулировки задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности. Они достаточно просты и могут быть использованы для построения методов математического программирования, например для поиска минимума квадратичной функции на многогранном множестве ограничений, основанного на решениях систем линейных уравнений, размерность которых не выше числа переменных целевой функции.

Задача 3. Построение непрерывного аналога задачи минимизации вещественного квадратичного многочлена от булевых переменных и новой формы задания необходимых и достаточных условий оптимальности для разработки методов их решения за полиномиальное время. В результате исходная задача сводится к задаче поиска минимального расстояния между началом координат и угловой точкой выпуклого многогранника (полиэдра), который является возмущением $n$-мерного куба и описывается системой двойных линейных неравенств с верхней треугольной матрицей коэффициентов с единицами на главной диагонали. Исследованию подлежат только две грани, одна из которых или обе содержат вершины, ближайшие к началу координат. Для их вычисления достаточно решить $4n – 4$ систем линейных уравнений и выбрать среди них все ближайшие равноудаленные вершины за полиномиальное время. Задача минимизации квадратичного полинома является $NP$-трудной, поскольку к ней сводится $NP$-трудная задача о вершинном покрытии для произвольного графа. Отсюда следует вывод, что $P = NP$, в основе построения которого лежит выход за пределы целочисленных методов оптимизации.

Cтроится семейство явных разностных схем на пятиточечном шаблоне для численного решения линейного уравнения переноса. Анализ свойств разностных схем проводится в пространстве неопределенных коэффициентов. Такие пространства впервые были введены в рассмотрение А. С. Холодовым. Для исследования свойств разностных схем ставилась задача линейного программирования. В качестве целевой функции обычно рассматривался коэффициент при главном члене невязки. Для построения монотонных разностных схем ставилась задача оптимизации с ограничениями типа неравенств. Ограниченность такого подхода становится ясной с учетом того, что аппроксимация разностной схемы определяется лишь на классических (гладких) решениях дифференциальной задачи.

В соответствие разностной схеме ставится некоторый функционал, определяющий свойства разностной схемы. Функционал должен быть линейным по коэффициентам схемы. Возможно, что функционал зависит от сеточной функции — решения разностной задачи или проекции на сетку решения дифференциальной задачи. Если первые члены разложения в ряд Тейлора этого функционала по сеточным параметрам совпадут с условиями классической аппроксимации, такой функционал будем называть обобщенным условием аппроксимации. В статье показано, что такие функционалы существуют. Для линейного уравнения с постоянными коэффициентами построение такого функционала возможно и для обобщенного (негладкого) решения дифференциальной задачи.

Построение разностной схемы с заданными свойствами тогда опирается на решение задачи поиска минимума функционала.

Построены семейства функционалов как для гладких решений исходной дифференциальной задачи, так и для обобщенных решений. Построены новые разностные схемы, основанные на анализе функционалов методами линейного программирования. При этом использован аппарат исследования пары самодвойственных задач линейного программирования. Найдена оптимальная монотонная разностная схема, обладающая первым порядком аппроксимации на гладком решении. Обсуждается возможность применения построенных новых схем для построения гибридных разностных схем повышенного порядка аппроксимации на гладких решениях.

Приводится пример численной реализации простейшей разностной схемы с обобщенной аппроксимацией.

Рассматривается численно устойчивый прямой мультипликативный метод решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество метода состоит в расчете факторов Холесского для положительно определенной матрицы системы уравнений и ее решения в рамках одной процедуры, а также в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью LU-разложения, просто другая схема реализации метода исключения Гаусса.

Расчет факторов Холесского для положительно определенной матрицы системы и ее решение лежит в основе построения новой математической формулировки безусловной задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности, которые достаточно просты и в данной работе используются для построения новой математической формулировки задачи квадратичного программирования на многогранном множестве ограничений, которая представляет собой задачу поиска минимального расстояния между началом координат и точкой границы многогранного множества ограничений средствами линейной алгебры и многомерной геометрии.

Для определения расстояния предлагается применить известный точный метод, основанный на решении систем линейных уравнений, размерность которых не выше числа переменных целевой функции. Расстояния определяются построением перпендикуляров к граням многогранника различной размерности. Для уменьшения числа исследуемых граней предлагаемый метод предусматривает специальный порядок перебора граней. Исследованию подлежат только грани, содержащие вершину, ближайшую к точке безусловного экстремума, и видимые из этой точки. В случае наличия нескольких ближайших равноудаленных вершин исследуется грань, содержащая все эти вершины, и грани меньшей размерности, имеющие с первой гранью не менее двух общих ближайших вершин.

Рассматривается конечномерная оптимизационная задача, постановка которой, помимо искомых переменных, содержит параметры. Ее решение есть зависимость оптимальных значений переменных от параметров. В общем случае такие зависимости не являются функциями, поскольку могут быть неоднозначными, а в функциональном случае — быть недифференцируемыми. Кроме того, область их существования может оказаться уже области определения функций в условии задачи. Эти свойства затрудняют решение как исходной задачи, так и задач, в постановку которых входят данные зависимости. Для преодоления этих затруднений обычно применяются методы типа недифференцируемой оптимизации.

В статье предлагается альтернативный подход, позволяющий получать решения параметрических задач в форме, лишенной указанных свойств. Показывается, что такие представления могут исследоваться стандартными алгоритмами, основанными на формуле Тейлора. Данная форма есть функция, гладко аппроксимирующая решение исходной задачи. При этом величина погрешности аппроксимации регулируется специальным параметром. Предлагаемые аппроксимации строятся с помощью специальных функций, устанавливающих обратные связи между переменными и множителями Лагранжа. Приводится краткое описание этого метода для линейных задач с последующим обобщением на нелинейный случай.

Построение аппроксимации сводится к отысканию седловой точки модифицированной функции Лагранжа исходной задачи. Показывается, что необходимые условия существования такой седловой точки подобны условиям теоремы Каруша – Куна – Таккера, но не содержат в явном виде ограничений типа неравенств и условий дополняющей нежесткости. Эти необходимые условия аппроксимацию определяют неявным образом. Поэтому для вычисления ее дифференциальных характеристик используется теорема о неявных функциях. Эта же теорема применяется для уменьшения погрешности аппроксимации.

Особенности практической реализации метода функций обратных связей, включая оценки скорости сходимости к точному решению, демонстрируются для нескольких конкретных классов параметрических оптимизационных задач. Конкретно: рассматриваются задачи поиска глобального экстремума функций многих переменных и задачи на кратный экстремум (максимин-минимакс). Также рассмотрены оптимизационные задачи, возникающие при использовании многокритериальных математических моделей. Для каждого из этих классов приводятся демонстрационные примеры.

Представлен подход к уменьшению значения нормы поправки в ньютоновских методах оптимизации, основанных на факторизации Холесского, в основе которого лежит интеграция с техникой выбора ведущего элемента алгоритма линейного программирования как метода решения системы уравнений. Исследуются вопросы увеличения численной устойчивости разложения Холесского и метода исключения Гаусса.

В данной работе рассматривается задача восстановления матрицы корреспонденций для наблюдений реальных корреспонденций в г. Москве. Следуя общепринятому подходу [Гасников и др., 2013], транспортная сеть рассматривается как ориентированный граф, дуги которого соответствуют участкам дороги, а вершины графа — районы, из которых выезжают / в которые въезжают участники движения. Число жителей города считается постоянным. Задача восстановления матрицы корреспонденций состоит в расчете всех корреспонденций израйона $i$ в район $j$.

Для восстановления матрицы предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийная модель. В работе, в соответствии с работой [Вильсон, 1978], приводится описание эволюционного обоснования энтропийной модели, описывается основная идея перехода к решению задачи энтропийно-линейного программирования (ЭЛП) при расчете матрицы корреспонденций. Для решения полученной задачи ЭЛП предлагается перейти к двойственной задаче и решать задачу относительно двойственных переменных. В работе описывается несколько численных методов оптимизации для решения данной задачи: алгоритм Синхорна и ускоренный алгоритм Синхорна. Далее приводятся численные эксперименты для следующих вариантов функций затрат: линейная функция затрат и сумма степенной и логарифмической функции затрат. В данных функциях затраты представляют из себя некоторую комбинацию среднего времени в пути и расстояния между районами, которая зависит от параметров. Для каждого набора параметров функции затрат рассчитывается матрица корреспонденций и далее оценивается качество восстановленной матрицы относительно известной матрицы корреспонденций. Мы предполагаем, что шум в восстановленной матрице корреспонденций является гауссовским, в результате в качестве метрики качества выступает среднеквадратичное отклонение. Данная задача представляет из себя задачу невыпуклой оптимизации. В статье приводится обзор безградиенных методов оптимизации для решения невыпуклых задач. Так как число параметров функции затрат небольшое, для определения оптимальных параметров функции затрат было выбрано использовать метод перебора по сетке значений. Таким образом, для каждого набора параметров рассчитывается матрица корреспонденций и далее оценивается качество восстановленной матрицы относительно известной матрицы корреспонденций. Далее по минимальному значению невязки для каждой функции затрат определяется, для какой функции затрат и при каких значениях параметров восстановленная матрица наилучшим образом описывает реальные корреспонденции.

В данной статье рассматривается метод построения прогнозной нейросетевой модели временного ряда, основанный на определении состава входных переменных, построения обучающей выборки и самого обучения с использованием метода обратного распространения ошибки. Традиционные методы построения прогнозных моделей временного ряда (авторегрессионной модели, модели скользящего среднего или модели авторегрессии – скользящего среднего) позволяют аппроксимировать временной ряд линейной зависимостью текущего значения выходной переменной от некоторого количества ее предыдущих значений. Такое ограничение, как линейность зависимости, приводит к значительным ошибкам при прогнозировании.

Технологии интеллектуального анализа с применением нейросетевого моделирования позволяют аппроксимировать временной ряд нелинейной зависимостью. Причем процесс построения нейросетевой модели (определение состава входных переменных, числа слоев и количества нейронов в слоях, выбор функций активации нейронов, определение оптимальных значений весов связей нейронов) позволяет получить прогнозную модель в виде аналитической нелинейной зависимости.

Одним из ключевых моментов при построении нейросетевых моделей в различных прикладных областях, влияющих на ее адекватность, является определение состава ее входных переменных. Состав входных переменных традиционно выбирается из некоторых физических соображений или методом подбора. Для задачи определения состава входных переменных прогнозной нейросетевой модели временного ряда предлагается использовать особенности поведения автокорреляционной и частной автокорреляционной функций.

В работе предлагается метод определения состава входных переменных нейросетевых моделей для стационарных и нестационарных временных рядов, базирующийся на построении и анализе автокорреляционных функций. На основе предложенного метода разработаны алгоритм и программа в среде программирования Python, определяющая состав входных переменных прогнозной нейросетевой модели — персептрона, а также строящая саму модель. Осуществлена экспериментальная апробация предложенного метода на примере построения прогнозной нейросетевой модели временного ряда, отражающего потребление электроэнергии в разных регионах США, открыто опубликованной компанией PJM Interconnection LLC (PJM) — региональной сетевой организацией в Соединенных Штатах. Данный временной ряд является нестационарным и характеризуется наличием как тренда, так и сезонности. Прогнозирование очередных значений временного ряда на ос- нове предыдущих значений и построенной нейросетевой модели показало высокую точность аппроксимации, что доказывает эффективность предлагаемого метода.

В работе рассматривается применение технологии Message Passing Interface (MPI) для распараллеливания программного алгоритма, основанного на сеточно-характеристическом методе, применительно к численному решению уравнения линейной теории упругости. Данный алгоритм позволяет численно моделировать распространение динамических волновых возмущений в твердых деформируемых телах. К такого рода задачам относится решение прямой задачи распространения сейсмических волн, что представляет интерес в сейсмике и геофизике. Во снове решателя лежит сеточно-характеристический метод. В работе предложен способ уменьшения времени взаимодействия между процессами MPI в течение расчета. Это необходимо для того, чтобы можно было производить моделирование в сложных постановках, при этом сохраняя высокую эффективность параллелизма даже при большом количестве процессов. Решение проблемы эффективного взаимодействия представляет большой интерес, когда в расчете используется несколько расчетных сеток с произвольной геометрией контактов между ними. Сложность данной задачи возрастает, если допускается независимое распределение узлов расчетных сеток между процессами. В работе сформулирован обобщенный подход для обработки контактных условий в терминах переинтерполяции узлов из заданного участка одной сетки в определенную область второй сетки. Предложен эффективный способ распараллеливания и установления эффективных межпроцессорных коммуникаций. Приведены результаты работы реализованного программного кода: получены волновые поля и сейсмограммы как для 2D-, так и для 3D-постановок. Показано, что данный алгоритм может быть реализован в том числе на криволинейных расчетных сетках. Рассмотренные постановки демонстрируют возможность проведения расчета с учетом топографии среды и криволинейных контактов между слоями. Это позволяет получать более точные результаты, чем при расчете только с использованием декартовых сеток. Полученная эффективность распараллеливания — практически 100% вплоть до 4096 процессов (за основу отсчета взята версия, запущенная на 128 процессах). Дале наблюдается ожидаемое постепенное снижение эффективности. Скорость спада не велика, на 16384 процессах удается сохранить 80%-ную эффективность.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

С 50-х годов XX века транспортное моделирование крупных мегаполисов стало усиленно развиваться. Появились первые модели равновесного распределения потоков по путям. Наиболее популярной (и использующейся до сих пор) моделью была модель Бэкмана и др. 1955 г. В основу этой модели положены два принципа Вардропа. На современном теоретико-игровом языке можно кратко описать суть модели как поиск равновесия Нэша в популяционной игре загрузки, в которой потери игроков (водителей) рассчитываются исходя из выбранного пути и загрузках на этом пути, при фиксированных корреспонденциях. Загрузки (затраты) на пути рассчитываются как сумма затрат на различных участках дороги (ребрах графа транспортной сети). Затраты на ребре (время проезда по ребру) определяется величиной потока автомобилей на этом ребре. Поток на ребре, в свою очередь, определяется суммой потоков по всем путям, проходящим через заданное ребро. Таким образом, затраты на проезд по пути определяются не только выбором пути, но и тем, какие пути выбрали остальные водители. Таким образом, мы находимся в стандартной теоретико-игровой постановке. Специфика формирования функций затрат позволяет сводить поиск равновесия к решению задачи оптимизации (игра потенциальная). Эта задача оптимизации будет выпуклой, если функции затрат монотонно неубывающие. Собственно, различные предположения о функциях затрат формируют различные модели. Наиболее популярной моделью является модель с функцией затрат BPR. Такие функции используются при расчетах реальных городов повсеместно. Однако в начале XXI века Ю. Е. Нестеровым и А. де Пальмой было показано, что модели типа Бэкмана имеют серьезные недостатки. Эти недостатки можно исправить, используя модель, которую авторы назвали моделью стабильной динамики. Поиск равновесия в такой модели также сводится к задаче оптимизации. Точнее, даже задаче линейного программирования. В 2013 г. А. В. Гасниковым было обнаружено, что модель стабильной ди- намики может быть получена предельным переходом, связанным с поведением функции затрат, из модели Бэкмана. Однако обоснование упомянутого предельного перехода было сделано в нескольких важных (для практики), но все- таки частных случаях. В общем случае вопрос о возможности такого предельного перехода, насколько нам известно, остается открытым. Данная работа закрывает данный зазор. В статье в общем случае приводится обоснование возможности отмеченного предельного перехода (когда функция затрат на проезд по ребру как функция потока по ребру вырождается в функцию, равную постоянным затратам до достижения пропускной способности, и равна плюс бесконечности, при превышении пропускной способности).