Все выпуски

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

В работе представлена методика моделирования центробежных насосов с использованием программного комплекса (ПК) FlowVision на примере магистрального нефтяного центробежного насоса НМ 1250-260. В качестве рабочего тела как при стендовых испытаниях, так и при численном моделировании используется вода. Расчет проводится в полной трехмерной постановке. Для учета утечек через уплотнения моделирование проводится вместе с корпусом насоса. С целью уменьшения требуемых вычислительных ресурсов в работе предлагается не моделировать течение в уплотнениях напрямую, а задавать утечки с помощью расхода. Влияние шероховатости поверхностей насоса учитывается в модели пристеночных функций. Модель пристеночных функций использует эквивалентную песочную шероховатость, и в работе применяется формула пересчета реальной шероховатости в эквивалентную песочную. Вращение рабочего колеса моделируется с помощью метода скользящих сеток: данный подход полностью учитывает нестационарное взаимодействие между ротором и диффузором насоса, что позволяет с высокой точностью разрешить рециркуляционные вихри, возникающие на режимах с низкой подачей.

Разработанная методика позволила добиться высокой согласованности результатов моделирования с экспериментом на всех режимах работы насоса. Отклонение на номинальном режиме по КПД составляет 0,42%, по напору — 1,9%. Отклонение расчетных характеристик от экспериментальных растет по мере увеличения подачи и достигает максимума на крайней правой точке характеристики (до 4,8% по напору). При этом среднее арифметическое относительное отклонение между численным моделированием и экспериментом для КПД насоса по шести точкам составляет 0,39% при погрешности измерения КПД в эксперименте 0,72%, что удовлетворяет требованиям к точности расчетов. В дальнейшем данная методика может быть использована для проведения серии оптимизационных и прочностных расчетов, так как моделирование не требует существенных вычислительных ресурсов и учитывает нестационарный характер течения в насосе.

В основу изучения свойств сейсмического шума на Камчатке положена идея, что шум является важным источником информации о процессах, предшествующих сильным землетрясениям. Рассматривается гипотеза, что увеличение сейсмической опасности сопровождается упрощением статистической структуры сейсмического шума и увеличением пространственных корреляций его свойств. В качестве статистик, характеризующих шум, использованы энтропия распределения квадратов вейвлет-коэффициентов, ширина носителя мультифрактального спектра сингулярности и индекс Донохо–Джонстона. Значения этих параметров отражают сложность: если случайный сигнал близок по своим свойствам к белому шуму, то энтропия максимальна, а остальные два параметра минимальны. Используемые статистики вычисляются для шести кластеров станций. Для каждого кластера станций вычисляются ежесуточные медианы свойств шума в последовательных временных окнах длиной 1 сутки, в результате чего образуется 18-мерный (3 свойства и 6 кластеров станций) временной ряд свойств. Для выделения общих свойств изменения параметров шума используется метод главных компонент, который применяется для каждого кластера станций, в результате чего информация сжимается до 6-мерного ежесуточного временного ряда главных компонент. Пространственные когерентности шума оцениваются как совокупность максимальных попарных квадратичных спектров когерентности между главным компонентами кластеров станций в скользящем временном окне длиной 365 суток. С помощью вычисления гистограмм распределения номеров кластеров, в которых достигаются минимальные и максимальные значения статистик шума в скользящем временном окне длиной 365 суток, оценивалась миграция областей сейсмической опасности в сопоставлении с сильными землетрясениями с магнитудой не менее 7.

С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

Моделирование русловых процессов при исследовании береговых деформаций русла требует вычисления параметров гидродинамического потока, учитывающих существование вторичных поперечных течений, формирующихся на закруглении русла. Трехмерное моделирование таких процессов на текущий момент возможно только для небольших модельных каналов, для реальных речных потоков необходимы модели пониженной размерности. При этом редукция задачи от трехмерной модели движения речного потока к двумерной модели потока в плоскости створа канала предполагает, что рассматриваемый гидродинамический поток является квазистационарным, и для него выполнены гипотезы об асимптотическом поведении потока по потоковой координате створа. С учетом данных ограничений в работе сформулирована математическая модель задачи о движении стационарного турбулентного спокойного речного потока в створе канала. Задача сформулирована в смешанной постановке скорости — «вихрь – функция тока». В качестве дополнительных условий для редукции задачи требуется задание граничных условий на свободной поверхности потока для поля скорости, определяемого в нормальном и касательном направлении к оси створа. Предполагается, что значения данных скоростей должны быть определены из решения вспомогательных задач или получены из данных натурных или экспериментальных измерений.

Для решения сформулированной задачи используется метод конечных элементов в формулировке Петрова – Галёркина. Получен дискретный аналог задачи и предложен алгоритм ее решения. Выполненные численные исследования показали в целом хорошую согласованность полученных решений при их сравнении с известными экспериментальными данными.

Полученные погрешности авторы связывают с необходимостью более точного определения циркуляционного поля скоростей в створе потока путем подбора и калибровки более подходящей модели вычисления турбулентной вязкости и граничных условий на свободной границе створа.

Рассматривается применение физически информированных нейронных сетей с использованием многослойных персептронов для решения задач Коши, в которых правые части уравнения являются непрерывными монотонно возрастающими, убывающими или осциллирующими функциями. С помощью вычислительных экспериментов изучено влияние метода построения приближенного нейросетевого решения, структуры нейронной сети, алгоритмов оптимизации и средств программной реализации на процесс обучения и точность полученного решения. Выполнен анализ эффективности работы наиболее часто используемых библиотек машинного обучения при разработке программ на языках программирования Python и C#. Показано, что применение языка C# позволяет сократить время обучения нейросетей на 20–40%. Выбор различных функций активации влияет на процесс обучения и точность приближенного решения. Наиболее эффективными в рассматриваемых задачах являются сигмоида и гиперболический тангенс. Минимум функции потерь достигается при определенном количестве нейронов скрытого слоя однослойной нейронной сети за фиксированное время обучения нейросетевой модели, причем усложнение структуры сети за счет увеличения числа нейронов не приводит к улучшению результатов обучения. При этом величина шага сетки между точками обучающей выборки, обеспечивающей минимум функции потерь, в рассмотренных задачах Коши практически одинакова. Кроме того, при обучении однослойных нейронных сетей наиболее эффективными для решения задач оптимизации являются метод Adam и его модификации. Дополнительно рассмотрено применение двух- и трех-слойных нейронных сетей. Показано, что в этих случаях целесообразно использовать алгоритм LBFGS, который по сравнению с методом Adam в ряде случаев требует на порядок меньшего времени обучения при достижении одинакового порядка точности. Исследованы также особенности обучения нейронной сети в задачах Коши, в которых решение является осциллирующей функцией с монотонно убывающей амплитудой. Для них необходимо строить нейросетевое решение не с постоянными, а с переменными весовыми коэффициентами, что обеспечивает преимущество такого подхода при обучении в тех узлах, которые расположены вблизи конечной точки интервала решения задачи.

В работе построена и исследуется обобщенная модель, описывающая двухкомпонентные системы реакционно-диффузионного типа со степенной нелинейностью и учитывающая влияние внешних шумов. Для анализа обобщенной модели разработана методология, включающая в себя линейный анализ устойчивости, нелинейный анализ устойчивости и численное моделирование эволюции системы. Методика проведения линейного анализа опирается на базовые подходы, в которых для получения характеристического уравнения используется матрица линеаризации. Нелинейный анализ устойчивости проводится с точностью до моментов третьего порядка включительно. Для этого функции, описывающие динамику компонент, раскладываются в ряд Тейлора до слагаемых третьего порядка. Затем с помощью теоремы Новикова проводится процедура усреднения. В результате полученные уравнения образуют бесконечную иерархично подчиненную структуру, которую в определенный момент необходимо прервать. Для этого пренебрегаем вкладом слагаемых выше третьего порядка как в самих уравнениях, так и при построении уравнений моментов. Полученные уравнения образуют набор линейных уравнений, из которых формируется матрица устойчивости. Эта матрица имеет довольно сложную структуру, в связи с чем ее решение может быть получено только численно. Для проведения численного исследования эволюции системы выбран метод переменных направлений. Из-за наличия в анализируемой системе стохастической части метод был модифицирован таким образом, что на целых слоях проводится генерация случайных полей с заданным распределением и функцией корреляции, отвечающих за шумовой вклад в общую нелинейность. Апробация разработанной методологии проведена на предложенной Barrio et al. модели реакции – диффузии, по результатам исследования которой им показана схожесть получаемых структур с пигментацией рыб. В настоящей работе внимание сосредоточено на анализе поведения системы в окрестности ненулевой стационарной точки. Изучена зависимость действительной части собственных значений от волнового числа. В линейном анализе получена область значений волновых чисел, при которых возникает неустойчивость Тьюринга. Нелинейный анализ и численное моделирование эволюции системы проводятся для параметров модели, которые, напротив, находятся вне области неустойчивости Тьюринга. В рамках нелинейного анализа найдены интенсивности аддитивного шума, при которых, несмотря на отсутствие условий для возникновения диффузионной неустойчивости, система переходит в неустойчивое состояние. Результаты численного моделирования эволюции апробируемой модели демонстрируют процесс образования пространственных структур тьюрингового типа при воздействии на нее аддитивного шума.

Статья посвящена описанию процесса миграции некоторой популяции с учетом пространственной неоднородности локальной емкости экологической ниши. Предполагается, что эта пространственная неоднородность обусловлена различными природными или искусственными факторами. Математическая модель рассматриваемого процесса миграции представляет собой задачу Коши на прямой для некоторого квазилинейного уравнения в частных производных первого порядка, которому удовлетворяет линейная плотность численности рассматриваемой популяции. В данной работе найдено общее решение этой задачи Коши для произвольной зависимости локальной емкости экологической ниши от пространственной координаты. Это общее решение было применено для описания миграции рассматриваемой популяции в двух различных случаях: в случае зависимости локальной емкости экологической ниши от пространственной координаты в виде гладкой ступеньки и в случае холмообразной зависимости локальной емкости экологической ниши от пространственной координаты. В обоих случаях решение задачи Коши выражается через высшие трансцендентные функции. Наложением специальных соотношений на параметры модели эти высшие трансцендентные функции сводятся к элементарным функциям, что позволяет получить точные решения модели в явном виде, выраженные через элементарные функции. С помощью этих точных решений реализована обширная программа вычислительных экспериментов, показывающих, как начальная плотность популяции гауссовской формы рассеивается на рассмотренных двух видах пространственной неоднородности локальной емкости экологической ниши. Эти вычислительные эксперименты показали, что при прохождении и через ступенеобразную, и через холмообразную пространственную неоднородность локальной емкости экологической ниши с узкой, по сравнению с характерным пространственным масштабом этих неоднородностей, шириной гауссоиды ее начальной плотности система забывает свое начальное состояние. В частности, если интерпретировать исследуемую систему как популяцию, обитающую в протяженной спокойной прямолинейной реке вдоль ее русла, то можно утверждать, что при таком начальном условии после того, как течение этой реки пронесет рассматриваемую популяцию через область пространственной неоднородности локальной емкости экологической ниши, плотность численности популяции становится квазипрямоугольной функцией.

В данной работе рассматривается обратная задача сейсморазведки — определение структуры исследуемой среды по зарегистрированному волновому отклику от нее. В качестве целевого объекта рассматриваются крупные трещины, размеры и положение которых необходимо определить.

Для решения прямой задачи используется численное моделирование сеточно-характеристическим методом. Сеточно-характеристический метод позволяет применять физически обоснованные алгоритмы расчета точек на внешних границах области и контактных границах внутри области интегрирования. Трещина принимается тонкой, для описания трещины используется специальное условие на створках трещины.

Обратная задача решается с помощью сверточных нейронных сетей. Входными данными нейронной сети являются сейсмограммы, интерпретируемые как изображения. Выходными данными являются маски, описывающие среду на структурированной сетке. Каждый элемент такой сетки относится к одному из двух классов: либо элемент сплош- ного геологического массива, либо элемент, через который проходит трещина. Такой подход позволяет рассматривать среду, в которой находится неизвестное наперед количество трещин.

Для обучения нейронной сети использовались исключительно примеры с одной трещиной. Для итогового тестирования обученной сети использовались отдельные примеры с несколькими трещинами, эти примеры никак не были задействованы в ходе обучения. Целью тестирования в таких условиях была проверка, что обученная сеть обладает достаточной общностью, распознает в сигнале признаки наличия трещины и при этомне страдает от переобучения на примерах с единственной трещиной в среде.

В работе показано, что сверточная сеть, обученная на примерах с единичной трещиной, может использоваться для обработки данных с множественными трещинами. Хорошо определяются в том числе небольшие трещины на больших глубинах, если они пространственно разнесены друг от друга на расстояние большее, чемдлина сканирующего импульса. В этом случае на сейсмограмме их волновые отклики хорошо различимы и могут быть интерпретированы нейронной сетью. В случае близко расположенных трещин могут возникать артефакты и ошибки интерпретации. Это связано с тем, что на сейсмограмме волновые отклики близких трещин сливаются, из-за чего нейронная сеть интерпретирует несколько рядом расположенных трещин как одну. Отметим, что подобную ошибку, скорее всего, допустил бы и человек при ручной интерпретации данных. В работе приведены примеры некоторых таких артефактов, искажений и ошибок распознавания.

Методом лазерной интерференционной микроскопии исследовали внутриклеточную динамику эритроцитов, нейронов и тучных клеток. Показано, что существуют регулярные изменения оптических свойств клеток, отражающие кооперативные процессы в примембранной и центральной областях клеток. Показано, что характерные частоты изменений показателя преломления могут служить маркерами специфических клеточных процессов.