Все выпуски

В статье предлагается метод исследования задач оптимального управления с использованием нейронных сетей. Рассмотрение проводится на примере задачи контроля качества поверхностных вод. При моделировании системы контроля качества поверхностных вод используются теоретико-игровой и иерархический подходы. Исследуется случай динамической двухуровневой системы управления качеством поверхностных вод, включающий ведущего и нескольких ведомых. Рассмотрение ведется с точки зрения ведомых. В этом случае между ними возникает неантагонистическая игра, в которой строится равновесие Нэша. С математической точки зрения при этом решается задача оптимального управления при наличии фазовых ограничений. Для ее аналитического исследования в работе используется принцип максимума Понтрягина, на основе которого формулируются условия оптимальности. Для решения возникающих при этом систем дифференциальных уравнений используется обучаемая нейронная сеть прямого распространения (feedforward). Приводится обзор существующих методов решения подобных задач с помощью нейронных сетей и методов обучения нейронных сетей. Для оценки ошибки решения, получаемого с помощью нейронной сети, предлагается использовать метод анализа дефекта решения, адаптированный для нейронных сетей. Это позволяет получить количественную оценку ошибки численного решения. Приведены примеры использования нейросетевого подхода для решения модельной задачи оптимального управления и задачи контроля качества поверхностных вод. Полученные в этих примерах результаты сравниваются с точным решением и с результатами, полученными методом стрельбы. Во всех случаях величина ошибки оценивается методом анализа дефекта решения. Нейросетевым методом проводится также исследование системы контроля качества поверхностных вод для случаев, когда решение задачи другими методами получить не удалось (большой временной промежуток моделирования и случай нескольких агентов). В статье иллюстрируются возможность использования нейросетевого подхода для решения различных задач оптимального управления и дифференциальных игр, а также возможность количественной оценки точности решения. Полученные результаты численных экспериментов позволяют говорить о необходимости введения регулирующего органа для достижения устойчивого развития системы.

В работе представлена математическая модель, описывающая процесс получения биогаза из отходов животноводства. Данная модель описывает процессы, протекающие в биогазовой установке для мезофильной и термофильной сред, а также для непрерывного и периодического режимов поступления субстрата. Приведены найденные ранее для периодического режима значения коэффициентов этой модели, полученные путем решения задачи идентификации модели по экспериментальным данным с использованием генетического алгоритма.

Для модели метаногенеза сформулирована задача оптимального управления в форме задачи Лагранжа, критериальный функционал которой представляет собой выход биогаза за определенный промежуток времени. Управляющим параметром задачи служит скорость поступления субстрата в биогазовую установку. Предложен алгоритм решения данной задачи, основанный на численной реализации принципа максимума Понтрягина. При этом в качестве метода оптимизации применялся гибридный генетический алгоритм с дополнительным поиском в окрестности лучшего решения методом сопряженных градиентов. Данный численный метод решения задачи оптимального управления является универсальным и применим к широкому классу математических моделей.

В ходе исследования проанализированы различные режимы подачи субстрата в метантенк, температурные среды и виды сырья. Показано, что скорость образования биогаза при непрерывном режиме подачи сырья в 1.4–1.9 раза выше в мезофильной среде (в 1.9–3.2 — в термофильной среде), чем при периодическом режиме за период полной ферментации, что связано с большей скоростью подачи субстрата и большей концентрацией питательных веществ в субстрате. Однако выход биогаза за период полной ферментации при периодическом режиме вдвое выше выхода за период полной смены субстрата в метантенке при непрерывном режиме, что означает неполную переработку субстрата во втором случае. Скорость образования биогаза для термофильной среды при непрерывном режиме и оптимальной скорости подачи сырья втрое выше, чем для мезофильной среды. Сравнение выхода биогаза для различных типов сырья показывает, что наибольший выход биогаза наблюдается для отходов птицефабрик, наименьший — для отходов ферм КРС, что связано с содержанием питательных веществ в единице субстрата каждого вида.

В теоретико-игровой постановке рассмотрена модель борьбы с коррупцией при распределении ресурсов. Система распределения ресурсов включает в свой состав одного принципала (субъект управления верхнего уровня), одного или нескольких супервайзеров (субъектов среднего уровня) и нескольких агентов (субъекты нижнего уровня). Отношения между субъектами разных уровней строятся на основе иерархии: субъект верхнего уровня воздействует (управляет) на субъектов среднего уровня, а те, в свою очередь, на субъектов нижнего уровня. Предполагается, что коррупции подвержен средний уровень управления. Агенты предлагают супервайзеру взятки, в обмен на которые он предоставляет им дополнительные доли ресурса. Предположим также, что принципал не подвержен коррупции и является бескорыстным, не преследующим частных целей. Исследование модели проведено с точки зрения как супервайзера, так и агентов. C точки зрения агентов, возникает некооперативная игра, в которой находится равновесие Нэша. При этом задачи оптимального управления для частного вида входных функций решаются аналитически с помощью принципа максимума Понтрягина. C точки зрения супервайзера, возникает игра, которая ведется в соответствии с регламентом игры Гермейера Г_2t. Указан алгоритм построения равновесия. Стратегия наказания находится аналитически. Стратегия поощрения в случае входных функций общего вида находится численно. Строится дискретный аналог непрерывной модели. Предполагается, что все субъекты управления могут изменять свои стратегии поведения в одни и те же моменты времени конечное число раз. В результате от задачи максимизации своего целевого функционала супервайзер переходит к задаче максимизации целевой функции многих переменных. Для нахождения ее наибольшего значения используется метод качественно репрезентативных сценариев. Идея этого метода состоит в том, что из множества потенциально возможных сценариев управления выбираются только сценарии, позволяющие представить качественно различные пути развития системы. В результате мощность этого множества не слишком велика и удается осуществить полный перебор качественно репрезентативных сценариев и найти стратегию поощрения агентов. После ее нахождения супервайзер предлагает агентам механизм управления с обратной связью по управлению, состоящий в наказании агентов при отклонении от выбранной супервайзером стратегии и поощрении в противном случае.

В статье рассмотрена задача построения равновесий Нэша и Штакельберга при исследовании динамической системы контроля качества речных вод. Учитывается влияние субъектов управления двух уровней: одного ведущего и нескольких ведомых. В качестве ведущего (супервайзера) выступает природоохранный орган, а в роли ведомых (агентов) — промышленные предприятия. Основной целью супервайзера является поддержание допустимой концентрации загрязняющих веществ в речной воде. Добиться этого он может не единственным образом, поэтому, кроме того, супервайзер стремится к оптимизации своего целевого функционала. Супервайзер воздействует на агентов, назначая величину платы за сброс загрязнений в водоток. Плата за загрязнение от агента поступает в федеральный и местные бюджеты, затем распределяется на общих основаниях. Таким образом, плата увеличивает бюджет супервайзера, что и отражено в его целевом функционале. Причем плата за сброс загрязнений начисляется за количество и/или качество сброшенных загрязнений. К сожалению, для большинства систем контроля качества речных вод такая практика неэффективна из-за малого размера платы за сброс загрязнений. В статье и решается задача определения оптимального размера платы за сброс загрязнений, который позволяет поддерживать качество речной воды в заданном диапазоне.

Агенты преследуют только свои эгоистические цели, выражаемые их целевыми функционалами, и не обращают внимания на состояние речной системы. Управление агента можно рассматривать как часть стока, которую агент очищает, а управление супервайзера — как назначаемый размер платы за сброс оставшихся загрязнений в водоток.

Для описания изменения концентраций загрязняющих веществ в речной системе используется обыкновенное дифференциальное уравнение. Проблема поддержания заданного качества речной воды в рамках предложенной модели исследуется как с точки зрения агентов, так и с точки зрения супервайзера. В первом случае возникает дифференциальная игра в нормальной форме, в которой строится равновесие Нэша, во втором — иерархическая дифференциальная игра, разыгрываемая в соответствии с информационным регламентом игры Штакельберга. Указаны алгоритмы численного построения равновесий Нэша и Штакельберга для широкого класса входных функций. При построении равновесия Нэша возникает необходимость решения задач оптимального управления. Решение этих задач проводится в соответствии с принципом максимума Понтрягина. Строится функция Гамильтона, полученная система дифференциальных уравнений решается численно методом стрельбы и методом конечных разностей. Проведенные численные расчеты показывают, что низкий размер платы за единицу сброшенных в водоток загрязнений приводит к росту концентрации загрязняющих веществ в водотоке, а высокий — к банкротству предприятий. Это приводит к задаче нахождения оптимальной величины платы за сброс загрязнений, то есть к рассмотрению проблемы с точки зрения супервайзера. В этом случае возникает иерархическая дифференциальная игра супервайзера и агентов, в которой ищется равновесие Штакельберга. Возникает задача максимизации целевого функционала супервайзера с учетом управлений агентов, образующих равновесие Нэша. При нахождении оптимальных управлений супервайзера используется метод качественно репрезентативных сценариев, а для агентов — принцип максимума Понтрягина. Проведены численные эксперименты, найден коэффициент системной согласованности. Полученные численные результаты позволяют сделать вывод, что система контроля качества речных вод плохо системно согласована и для достижения стабильного развития системы необходимо иерархическое управление.

В статье рассматривается проблема рационального использования водных ресурсов на уровне региона. Приводится обзор существующих методов контроля качества и количества водных ресурсов на различных уровнях — от отдельных домохозяйств до мирового. В самой работе проблема рассматривается для регионов России с малой водообеспеченностью — количеством воды на человека в год. Особое внимание уделяется регионам, в которых данный показатель мал из-за природных особенностей региона, а не большого числа жителей. В таких регионах много ресурсов выделяется на различную водную инфраструктуру, в том числе водохранилища, переброску воды из соседних регионов. При этом основными потребителями воды являются промышленность и сельское хозяйство. В работе представлена динамическая двухуровневая модель, сопоставляющая потребление регионом воды и объем производства в регионе (валовый региональный продукт, ВРП). На верхнем уровне модели находится администрация региона (центр), назначающая плату за использование воды, а на нижнем — предприятия региона (агенты). Проведены аналитическое исследование и идентификация модели. Аналитическое исследование позволяет с помощью принципа максимума Понтрягина найти оптимальные управления агентов. Идентификация модели позволяет, используя статистические данные для региона, определить коэффициенты модели таким образом, чтобы она соответствовала данному региону. Для идентификации модели используются данные Росстата. Далее следует численное исследование модели для конкретных регионов с использованием алгоритма trust region reflective.

Для ряда регионов РФ с низким уровнем водообеспеченности приведены результаты идентификации модели на основе данных Росстата, а также возможные значения ВРП и потребления воды в зависимости от выбранной стратегии центра. Для многих регионов расчеты показывают возможность существенного (>20%) сокращения потребления воды при некотором сокращении производства (≈10%).

Приведенная в работе модель позволяет рассчитывать размер дополнительной платы за использование воды для достижения оптимального соотношения экономических и экологических последствий.