Все выпуски

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

Во второй части работы представлены численные исследования параметров нижней ионосферы на высотах 40–90 км при воздействии на нее мощного потока коротковолнового радиоизлучения различной частоты и мощности. Постановка задачи изложена в первой части работы. Основное внимание уделяется взаимосвязи энергетических и кинетических параметров возмущенной $D$-области ионосферы в процессах, определяющих поглощение и трансформацию потока энергии радиолуча в пространстве и во времени. Показана возможность существенного различия в поведении параметров возмущенной области в дневное и ночное время как по величине, так и по пространственно-временному распределению. Ввиду отсутствия надежных значений констант скоростей ряда важных кинетических процессов численные исследования велись поэтапно, с постепенным добавлением отдельных процессов и кинетических блоков, соответствующих вместе с тем определенному физическому содержанию. Показано, что главную роль при этом играют энергетические пороги для неупругих столкновений электронов с молекулами воздуха. Данный подход позволил обнаружить эффект возникновения автоколебательного режима изменения параметров, если главным каналом для потерь энергии в неупругих процессах является наиболее энергоемкий процесс — ионизация. Этот эффект может играть роль при плазменных исследованиях с использованием высокочастотных индукционных и емкостных разрядов. Представлены результаты расчетов ионизационных и оптических параметров возмущенной $D$-области для дневных условий. Получены значения электронной температуры, концентрации, коэффициентов излучения в видимом и инфракрасном диапазонах спектра для различных значений мощности радиолуча и его частоты в нижней ионосфере. Получено высотно-временное распределение поглощенной мощности излучения, что необходимо при исследованиях более высоких слоев ионосферы. Подробно исследовано влияние на электронную температуру и на общее поведение параметров энергии, которая расходуется электронами на возбуждение колебательных и метастабильных состояний молекул. Показано, что в ночных условиях, когда нижняя граница электронной концентрации поднимается до 80 км, а концентрация тяжелых частиц снижается на два порядка по сравнению со средней областью $D$-слоя, при достаточной мощности радиоизлучения может развиваться крупномасштабное газодинамическое движение. На основе численной схемы Мак-Кормака разработан алгоритм и выполненыдв умерные газодинамические расчетып оведения параметров возмущенной области при определенных упрощениях кинетической части задачи.

Рассматриваются два возможных вычислительных метода интерпретации экспериментальных данных, полученных методами магнитно-силовой зондовой микроскопии. Развитие методов моделирования и реконструирования распределения макроспинов проводится с целью изучения процессов перемагничивания наночастиц в упорядоченных двумерных массивах. Предлагаются подходы к разработке сверхмасштабируемых высокопроизводительных алгоритмов, предназначенных для параллельного исполнения на суперкомпьютерных кластерах для решения прямой и обратной задачи моделирования магнитных состояний, типов упорядочения и процессов перемагничивания наносистем с коллективным поведением. Результаты моделирования согласуются с результатами эксперимента.

Осуществлено численное моделирование с применением алгоритма тепловой бани неравновесного критического поведения в трехмерной как однородной, так и структурно неупорядоченной модели Изинга. На основе анализа двухвременной зависимости автокорреляционных функций и динамической восприимчивости для систем со спиновыми концентрациями p = 1,0, p = 0,8 и 0,6 были выявлены эффекты старения c аномальным замедлением релаксации системы с ростом времени ожидания. Доказано нарушение флуктуационно-диссипативной теоремы и получены значения универсального предельного флуктуационно-диссипативного отношения для рассматриваемых систем. Показано, что увеличение концентрации дефектов структуры приводит к усилению эффектов старения.

Рассматриваются вопросы построения математической модели процесса срабатывания пружинного предохранительного клапана прямого действия, в том числе и вопросыоб основания физически корректной величинына чального подъема диска при решении сопряженной задачи о движении диска в рабочем объеме клапана для газовых сред. Проводится обзор существующих подходов и методов решения данного типа задач. Приводятся постановка задачи о срабатывании клапана при повышении давления в резервуаре и математическая модель процесса срабатывания клапана. Особое внимание уделяется вопросам связывания физических подзадач. Описываются используемые методы, численные схемы и алгоритмы. Математическое моделирование проводится на основе фундаментальной системыдиф ференциальных уравнений движения вязкого сжимаемого газа, совместно с уравнением движения диска. В осесимметричной постановке решение рассматриваемой задачи строится численно с использованием метода конечных объемов. Сопоставляются результаты решения задачи о срабатывании предохранительного клапана, полученные с использованием вязкой модели и модели течения идеального газа. В невязкой постановке задача решается с использованием схемы Годунова, реализуемой в рамках авторского кода, а в вязкой постановке — на основе метода Курганова–Тадмора, реализуемого в рамках open source пакета OpenFOAM. Проводится сравнение результатов двух расчетов. В результате выполненных расчетов была получена зависимость высоты подъема диска от времени, которая сопоставляется с экспериментальными данными. Приводятся распределение давления газа по поверхности диска, а также профили скорости в поперечных сечениях зазора для различных высот подъема диска. Показывается, что величина начального подъема диска не влияет на характер течения газа и динамику подвижной части клапана, что может существенно сократить время расчета полного цикла работы клапана с момента его открытия до закрытия при понижении давления ниже установленного уровня. Для проверки адекватности и корректности используемых численных схем проводится моделирование процесса срабатывания клапана в рамках метода Годунова для невязкого газа. Полученные данные хорошо коррелируются между собой, что свидетельствует как о корректности сформулированной математической модели процесса срабатывания клапана, так и о возможности применения для описания динамики предохранительных клапанов модели невязкого газа.

Работа посвящена численному моделированию плоской неизотермической нелинейной фильтрации в пористой среде. Рассматривается двумерная нестационарная задача течения высоковязкой нефти, воды и пара с фазовыми переходами. Нефтяная фаза представлена двумя псевдокомпонентами: легкой и тяжелой фракциями, которые, как и водный компонент, могут присутствовать в газовой фазе. Нефть проявляет вязкопластическую реологию, ее фильтрация не подчиняется классическому линейному закону Дарси. При моделировании учтена не только зависимость плотности и вязкости флюидов от температуры, но и улучшение реологических свойств нефти с ростом температуры.

Для численного решения задачи применен метод линий тока с расщеплением по физическим процессам, заключающийся в отделении конвективного переноса, направленного вдоль скорости фильтрации, от теплопроводности и гравитации. Предложен новый подход применения метода линий тока, позволяющий корректно моделировать задачи нелинейной фильтрации с реологией, зависящей от температуры. Суть этого алгоритма заключается в рассмотрении процесса интегрирования как совокупности квазиравновесных состояний, которые достигаются путем решения системы на глобальной сетке и между которыми решение проводится на сетке из линий тока. Использование метода линий тока позволяет не только ускорить расчеты фильтрации, но и получить физически достоверную картину решения, так как интегрирование системы происходит на сетке, совпадающей с направлением течения флюидов.

Помимо метода линий тока, в работе представлен алгоритм учета негладких коэффициентов, возникающих при решении уравнения течения вязкопластической нефти. Использование этого алгоритма позволяет сохранить достаточно большой шаг по времени и не изменяет физическую картину решения.

Полученные результаты сопоставлены с известными аналитическими решениями, а также с результатами, полученными при расчете в коммерческом пакете. Анализ проведенных тестовых расчетов на сходимость по количеству линий тока, а также на разных сетках на линиях тока обосновывает применимость предлагаемого алгоритма, а уменьшение времени расчета, по сравнению с традиционными методами, демонстрирует практическую значимость этого подхода.

В данной статье решается задача построения нейронечеткой модели формирования нечетких правил и их использования для оценки состояния объектов в условиях неопределенности. Традиционные методы математической статистики или имитационного моделирования не позволяют строить адекватные модели объектов в указанных условиях. Поэтому в настоящее время решение многих задач основано на использовании технологий интеллектуального моделирования с применением методов нечеткой логики. Традиционный подход к построению нечетких систем связан с необходимостью привлечения эксперта для формулирования нечетких правил и задания используемых в них функций принадлежности. Для устранения этого недостатка актуальна автоматизация формирования нечетких правил на основе методов и алгоритмов машинного обучения. Одним из подходов к решению данной задачи является построение нечеткой нейронной сети и обучение ее на данных, характеризующих исследуемый объект. Реализация этого подхода потребовала выбора вида нечетких правил с учетом особенностей обрабатываемых данных. Кроме того, потребовалась разработка алгоритма логического вывода на правилах выбранного вида. Этапы алгоритма определяют число слоев в структуре нечеткой нейронной сети и их функциональность. Разработан алгоритм обучения нечеткой нейронной сети. После ее обучения производится формирование системы нечетко-продукционных правил. На базе разработанного математического обеспечения реализован программный комплекс. На его основе проведены исследования по оценке классифицирующей способности формируемых нечетких правил на примере анализа данных из UCI Machine Learning Repository. Результаты исследований показали, что классифицирующая способность сформированных нечетких правил не уступает по точности другим методам классификации. Кроме того, алгоритм логического вывода на нечетких правилах позволяет успешно производить классификацию при отсутствии части исходных данных. С целью апробации произведено формирование нечетких правил для решения задачи по оценке состояния водоводов в нефтяной отрасли. На основе исходных данных по 303 водоводам сформирована база из 342 нечетких правил. Их практическая апробация показала высокую эффективность в решении поставленной задачи.

В данной работе рассматривается особая аппроксимация обобщенной формулы возмущения электромагнитного поля семейством электрически малых сферических неоднородностей. Задача, рассматриваемая в настоящей работе, возникает во множестве приложений технической электродинамики, радиолокации, подповерхностного зондирования и дефектоскопии. В общем случае она формулируются следующим образом: в некоторой точке возмущенного пространства необходимо определить амплитуду электромагнитного поля. Возмущение электромагнитных волн вызывается семейством электрически малых распределенных в пространстве рассеивателей. Источник электромагнитных волн располагается также в возмущенном пространстве. Задача решается введением допущения для дальнего поля рассеяния и через формулировку для эффективной поверхности рассеяния неоднородности. Это, в свою очередь, позволяет существенно убыстрить вычисления возмущенного электромагнитного поля семейством идентичных друг другу сферических неоднородностей с произвольными электрофизическими параметрами. Аппроксимация проверяется путем сравнения получаемых результатов с решением обобщенной формулы для возмущения электромагнитного поля. В данной работе рассматривается только прямая задача рассеяния, тем самым все параметры рассеивателей являются известными. В этом контексте можно утверждать, что формулировка соответствует корректно поставленной задаче и не подразумевает решение интегрального уравнения в обобщенной формуле. Одной из особенностью предложенного алгоритма является выделение характерной плоскости на границе пространства. Все точки наблюдения за состоянием системы принадлежат этой плоскости. Семейство рассеивателей располагается внутри области наблюдения, которая формируется этой поверхностью. Данный подход, кроме всего прочего, позволяет снять ряд ограничений на использование обобщенной формулировки для возмущенного электрического поля, например требование по удаленности неоднородностей друг от друга в пространстве распространения электромагнитных волн. Учет вклада каждого рассеивателя в семействе неоднородностей производится путем перехода к значениям их эффективных поверхностей рассеяния и дальнейшего их суммирования с учетом возникающих волновых эффектов, таких как интерференция и многократное отражение. В статье приводятся и описываются ограничения предложенного метода, а также рассматриваются возможные его модификации и дополнения.

Реконструкция траекторий заряженных частиц в трековых детекторах является ключевой проблемой анализа экспериментальных данных для физики высоких энергий и ядерной физики. Поток данных в современных экспериментах растет день ото дня, и традиционные методы трекинга уже не в состоянии соответствовать этим объемам данных по скорости обработки. Для решения этой проблемы нами были разработаны два нейросетевых алгоритма, использующих методы глубокого обучения, для локальной (каждый трек в отдельности) и глобальной (все треки в событии) реконструкции треков применительно к данным трекового GEM-детектора эксперимента BM@N ОИЯИ. Преимущество глубоких нейронных сетей обусловлено их способностью к обнаружению скрытых нелинейных зависимостей в данных и возможностью параллельного выполнения операций линейной алгебры, лежащих в их основе.

В данной статье приведено описание исследования по обобщению этих алгоритмов и их адаптации к применению для внутреннего поддетектора CGEM (BESIII ИФВЭ, Пекин). Нейросетевая модель RDGraphNet для глобальной реконструкции треков, разработанная на основе реверсного орграфа, успешно адаптирована. После обучения на модельных данных тестирование показало обнадеживающие результаты: для распознавания треков полнота (recall) составила 98% и точность (precision) — 86%. Однако адаптация «локальной» нейросетевой модели TrackNETv2 потребовала учета специфики цилиндрического детектора CGEM (BESIII), состоящего всего из трех детектирующих слоев, и разработки дополнительного нейроклассификатора для отсева ложных треков. Полученная программа TrackNETv2.1 протестирована в отладочном режиме. Значение полноты на первом этапе обработки составило 99%. После применения классификатора точность составила 77%, при незначительном снижении показателя полноты до 94%. Данные результаты предполагают дальнейшее совершенствование модели локального трекинга.

В статье предлагается ряд подходов к обработке изображений в системе поддержки принятия решений (СППР) центра автоматизированной фиксации административных правонарушений дорожного движения (ЦАФАП). Основной задачей данной СППР является помощь человеку-оператору в получении точной информации о государственном регистрационном знаке (ГРЗ) и модели транспортного средства (ТС) на основании изображений, полученных с комплексов фотовидеофиксации (ФВФ). В статье предложены подходы к распознаванию ГРЗ и марки/модели ТС на изображении, основанные на современных нейросетевых моделях. Для распознавания ГРЗ использована нейросетевая модель LPRNet с дополнительно введенным Spatial Transformer Layer для предобработки изображения. Для автоматического определения марки/модели ТС на изображении использована нейросетевая архитектура ResNeXt-101-32x8d. Предложен подход к формированию обучающей выборки для нейросетевой модели распознавания ГРЗ, основанный на методах компьютерного зрения и алгоритмах машинного обучения. В данном подходе использован алгоритм SIFT для нахождения ключевых точек изображения с ГРЗ и вычисления их дескрипторов, а для удаления точек-выбросов использован алгоритм DBSCAN. Точность распознавания ГРЗ на тестовой выборке составила 96 %. Предложен подход к повышению производительности процедур дообучения и распознавания марки/модели ТС, основанный на использовании новой архитектуры сверточной нейронной сети с «заморозкой» весовых коэффициентов сверточных слоев, дополнительным сверточным слоем распараллеливания процесса классификации и множеством бинарных классификаторов на выходе. Применение новой архитектуры позволило на несколько порядков уменьшить время дообучения нейросетевой модели распознавания марки/модели ТС с итоговой точностью классификации, близкой к 99 %. Предложенные подходы были апробированы и внедрены в СППР ЦАФАП Республики Татарстан.