Все выпуски

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

В основу изучения свойств сейсмического шума на Камчатке положена идея, что шум является важным источником информации о процессах, предшествующих сильным землетрясениям. Рассматривается гипотеза, что увеличение сейсмической опасности сопровождается упрощением статистической структуры сейсмического шума и увеличением пространственных корреляций его свойств. В качестве статистик, характеризующих шум, использованы энтропия распределения квадратов вейвлет-коэффициентов, ширина носителя мультифрактального спектра сингулярности и индекс Донохо–Джонстона. Значения этих параметров отражают сложность: если случайный сигнал близок по своим свойствам к белому шуму, то энтропия максимальна, а остальные два параметра минимальны. Используемые статистики вычисляются для шести кластеров станций. Для каждого кластера станций вычисляются ежесуточные медианы свойств шума в последовательных временных окнах длиной 1 сутки, в результате чего образуется 18-мерный (3 свойства и 6 кластеров станций) временной ряд свойств. Для выделения общих свойств изменения параметров шума используется метод главных компонент, который применяется для каждого кластера станций, в результате чего информация сжимается до 6-мерного ежесуточного временного ряда главных компонент. Пространственные когерентности шума оцениваются как совокупность максимальных попарных квадратичных спектров когерентности между главным компонентами кластеров станций в скользящем временном окне длиной 365 суток. С помощью вычисления гистограмм распределения номеров кластеров, в которых достигаются минимальные и максимальные значения статистик шума в скользящем временном окне длиной 365 суток, оценивалась миграция областей сейсмической опасности в сопоставлении с сильными землетрясениями с магнитудой не менее 7.

В данной работе исследуется влияние пространственного разрешения дискретизированного (решеточного) представления рабочего пространства на эффективность и корректность поиска оптимального пути в сложных условиях. Рассматриваются сценарии, характеризующиеся возможным наличием узких проходов, неоднородным распределением препятствий и зонами повышенных требований к безопасности в непосредственной окрестности от препятствий. Несмотря на широкое применение решеточных представлений рабочего пространства в робототехнике благодаря их совместимости с сенсорными данными и поддержке классических алгоритмов планирования траекторий, разрешение этих решеток оказывает существенное влияние как на достижимость цели, так и на показатели оптимального пути. Предлагается алгоритм, сочетающий анализ связности пространства, оптимизацию траектории и геометрическое уточнение безопасности. На первом этапе с помощью обобщения алгоритма Лиса (Leath) оценивается достижимость целевой точки путем выявления связной компоненты, содержащей стартовую позицию. При подтверждении достижимости целевой точки на втором этапе алгоритм A* применяется к узлам данной компоненты для построения пути, минимизирующего одновременно как длину пути, так и риск столкновения. На третьем этапе для узлов, расположенных в зонах безопасности, осуществляется уточненная оценка расстояния до препятствий с помощью комбинации алгоритмов Гилберта – Джонсона – Кирти (GJK) и расширяющегося многогранника (EPA). Экспериментальный анализ позволил выявить нелинейную зависимость вероятности существования и эффективности оптимального пути от параметров решетки. В частности, снижение пространственного разрешения решетки повышает вероятность потери связности и недостижимости цели, а увеличение ее пространственного разрешения влечет рост вычислительной сложности без пропорционального улучшения характеристик оптимального пути.

В работе представлена каскадная модель нейронной сети с физической поддержкой, предназначенная для прогнозирования перепада давления при трехфазном течении (нефть, газ, вода) в прямом участке трубы с различными углами наклона. Для преодоления ограничений существующих эмпирических корреляций и вычислительно затратных методов численного моделирования предложена архитектура, декомпозирующая задачу на три последовательные физически интерпретируемые подзадачи: регрессионное прогнозирование коэффициента удержания жидкости, классификация режима течения и непосредственный расчет градиента давления. Каждая подзадача решается отдельной полносвязной нейронной сетью, выход которой передается следующей модели в каскаде. Обучение и тестирование предложенной модели проведены на обширном синтетическом наборе данных (8·10⁷ записей), сгенерированном с использованием полуэмпирической модели. Верификация выполнена на независимых экспериментальных данных. Проведен сравнительный анализ с единой полносвязной (не каскадной) нейронной сетью и исследована чувствительность моделей методами Соболя и Боргоново. Каскадная модель продемонстрировала превосходство по точности и обеспечила высокую интерпретируемость результатов за счет получения промежуточных физических параметров (коэффициента удержания жидкости, режима течения). Разработанная модель обладает низкой вычислительной сложностью, что позволяет использовать ее в системах реального времени и цифровых двойниках гидравлических систем нефтегазовой промышленности.

Краткосрочное прогнозирование потока трафика является однойиз основных задач моделирования транспортных систем, основное назначение которой — контроль дорожного движения, сообщение об авариях, избежание дорожных пробок за счет знания потока трафика и последующего планирования транспортировки. Существует два типа подходов для решения этой задачи: математическое моделирование трафика и модель с использованием количественных данных трафика. Тем не менее большинство пространственно-временных моделейст радают от высокой математической сложности и низкой эффективности. Искусственные нейронные сети, один из видных подходов второго типа, показывают обещающие результаты в моделировании динамики транспортнойс ети. В данной работе представлена архитектура нейронной сети, используемойдля прогнозирования скоростейт ранспортного потока на графе дорожной сети. Модель основана на объединении рекуррентнойней ронной сети и сверточнойней ронной сети на графе, где рекуррентная нейронная сеть используется для моделирования временных зависимостей, а сверточная нейронная сеть — для извлечения пространственных свойств из трафика. Для получения предсказанийна несколько шагов вперед используется архитектура encoder-decoder, позволяющая уменьшить накопление шума из-за неточных предсказаний. Для моделирования сложных зависимостей мы используем модель, состоящую из нескольких слоев. Нейронные сети с глубокойархитек туройсло жны для тренировки; для ускорения процесса тренировки мы используем skip-соединения между каждым слоем, так что каждыйслой учит только остаточную функцию по отношению к предыдущему слою. Полученная объединенная нейронная сеть тренировалась на необработанных данных с сенсоров транспортного потока из сети шоссе в США с разрешением в 5 минут. 3 метрики — средняя абсолютная ошибка, средняя относительная ошибка, среднеквадратическая ошибка — использовались для оценки качества предсказания. Было установлено, что по всем метрикам предложенная модель имеет более низкую погрешность предсказания по сравнению с ранее опубликованными моделями, такими как Vector Auto Regression, Long Short-Term Memory и Graph Convolution GRU.

Биологическая структура рассматривается как открытая неравновесная система, свойства которой могут быть описаны на основе кинетических уравнений. Ставятся новые задачи с неравновесными граничными условиями на границе, причем неравновесное состояние (распределение) преобразуется постепенно в равновесное состояние вниз по течению. Область пространственной неоднородности имеет масштаб, зависящий от скорости переноса вещества в открытой системе и характерного времени метаболизма. В предлагаемом приближении внутренняя энергия движения молекул много меньше энергии поступательного движения; в других терминах: кинетическая энергия средней скорости крови существенно выше, чем энергия хаотического движения частиц в крови. Задача о релаксации в пространстве моделирует живую систему, поскольку сопоставляет области термодинамической неравновесности и неоднородности. Поток энтропии в изучаемой системе уменьшается вниз по потоку, что соответствует общим идеям Э. Шрёдингера о том, что живая система «питается» негэнтропией. Вводится величина, определяющая сложность биосистемы, — это разность между величинами неравновесной кинетической энтропии и равновесной энтропией в каждой пространственной точке, затем проинтегрированная по всему пространству. Решения задач о пространственной релаксации позволяют высказать суждение об оценке размера биосистем в целом как областей неравновесности. Результаты сравниваются с эмпирическими данными, в частности для млекопитающих (размеры животных тем больше, чем меньше удельная энергия метаболизма). Что воспроизводится в предлагаемой кинетической модели, поскольку размеры неравновесной области больше в той системе, где меньше скорость реакции, или в терминах кинетического подхода – чем больше время релаксации характерного взаимодействия между молекулами. Подход применяется для обсуждения характеристик и отдельного органа живой системы, а именно зеленого листа. Рассматриваются проблемы старения как деградации открытой неравновесной системы. Аналогия связана со структурой: для замкнутой системы происходит стремление к равновесию структуры для одних и тех же молекул, в открытой системе происходит переход к равновесию частиц, которые меняются из-за метаболизма. Соответственно, выделяются два существенно различных масштаба времени, отношение которых является приблизительно постоянным для различных видов животных. В предположении существования двух этих временных шкал кинетическое уравнение расщепляется на два уравнения, описывающих метаболическую (стационарную) и «деградационную» (нестационарную) части процесса.

Работа продолжает исследования по способности человека повышать производительность обработки информации, используя параллельную работу или повышение быстродействия анализаторов. Человек получает серию задач, решение которых требует переработки известного количества информации. Регистрируются время и правильность решения. По правильно решенным задачам определяется зависимость среднего времени решения от объема информации в задаче. В соответствии с предложенной ранее методикой задачи содержат вычисления выражений в двух алгебрах, одна из которых ассоциативная, а другая неассоциативная. Для облегчения работы испытуемых в опыте были использованы образные графические изображения элементов алгебры. Неассоциативные вычисления реализовывались в форме игры «Камень, ножницы, бумага». Надо было определить символ-победитель в длинной строке этих рисунков, считая, что они возникают последовательно слева направо и играют с предыдущим символом победителем. Ассоциативные вычисления были основаны на распознавании рисунков из конечного набора простых изображений. Надо было определить, какого рисунка из этого набора в строке не хватает, либо констатировать, что все рисунки присутствуют. В каждой задаче отсутствовало не более одной картинки. Вычисления в ассоциативной алгебре допускают параллельный счет, а при отсутствии ассоциативности возможны только последовательные вычисления. Поэтому анализ времени решения серий задач позволяет выявить последовательную равномерную, последовательную ускоренную и параллельную стратегии вычислений. В экспериментах было установлено, что для решения неассоциативных задач все испытуемые применяли равномерную последовательную стратегию. Для ассоциативных задач все испытуемые использовали параллельные вычисления, а некоторые использовали параллельные вычисления с ускорением по мере роста сложности задачи. Небольшая часть испытуемых при большой сложности, судя по эволюции времени решения, дополняла параллельный счет последовательным этапом вычислений (возможно, для контроля решения). Разработан специальный метод оценки скорости переработки входной информации человеком. Он позволил оценить уровень параллельности расчета в ассоциативных задачах. Была зарегистрирована параллельность уровня от двух до трех. Характерная скорость обработки информации в последовательном случае (примерно полтора символа в секунду) вдвое меньше типичной скорости распознавания изображений человеком. Видимо, разница времени обработки расходуется собственно на процесс вычислений. Для ассоциативной задачи в случае минимального объема информации время решения либо близко к неассоциативному случаю, либо меньше до двух раз. Вероятно, это связано с тем, что для малого числа символов распознавание практически исчерпывает вычисления для использованной неассоциативной задачи.

Коррозионные повреждения металлов и сплавов — одна из основных проблем прочности и долговечности металлических конструкций и изделий, эксплуатируемых в условиях контакта с химически агрессивными средами. В последнее время возрастает интерес к компьютерному моделированию эволюции коррозионных повреждений, особенно питтинговой коррозии, для более глубокого понимания коррозионного процесса, его влияния на морфологию, физико-химические свойства поверхности и механическую прочность и долговечность материала. Это обусловлено в основном сложностью аналитических и высокой стоимостью экспериментальных in situ исследований реальных коррозионных процессов. Вместе с тем вычислительные мощности современных компьютеров позволяют с высокой точностью рассчитывать коррозию лишь на относительно небольших участках поверхности. Поэтому разработка новых математических моделей, позволяющих рассчитывать большие области для прогнозирования эволюции коррозионных повреждений металлов, является в настоящее время актуальной проблемой.

В настоящей работе с помощью разработанной компьютерной модели на основе клеточного автомата исследовали эволюцию коррозионного фронта при взаимодействии поверхности поликристаллического металла с жидкой агрессивной средой. Зеренная структура металла задавалась с помощью многоугольников Вороного, используемых для моделирования поликристаллических сплавов. Коррозионное разрушение осуществлялось при помощи задания вероятностной функции перехода между ячейками клеточного автомата. Принималось во внимание, что коррозионная прочность зерен неодинакова вследствие кристаллографической анизотропии. Показано, что это приводит к формированию шероховатой фазовой границы в ходе коррозионного процесса. Снижение концентрации активных частиц в растворе агрессивной среды в ходе протекающей химической реакции приводит к затуханию коррозии за конечное число итераций расчета. Установлено, что конечная фазовая граница имеет фрактальную структуру с размерностью 1.323 ± 0.002, близкой к размерности фронта градиентной перколяции, что хорошо согласуется с фрактальной размерностью фронта травления поликристаллического алюминий-магниевого сплава АМг6 концентрированным раствором соляной кислоты. Показано, что коррозия поликристаллического металла в жидкой агрессивной среде представляет новый пример топохимического процесса, кинетика которого описывается теорией Колмогорова–Джонсона–Мейла–Аврами.

В данной работе представлены новые результаты исследований, которые с 2011 года проводятся в Институте экономики РАН под руководством академика РАН В.И. Маевского. Эти работы направлены на развитие теории переключающегося воспроизводства и соответствующих математических моделей, особенностью которых является то, что в них в явном виде моделируется взаимодействие финансового и реального секторов экономики, а сама экономика страны дезагрегируется не по отраслевому принципу (машиностроение, сельское хозяйство, услуги и т. д.), а на производственные подсистемы, отличающиеся друг от друга возрастом основного капитала. Одна их математических сложностей работы с подобными моделями, называемыми моделями переключающегося режима воспроизводства (ПРВ), заключается в сложности моделирования конкурентных отношений между подсистемами разного возраста. Поэтому до сих пор в моделях ПРВ рассматривалось взаимодействие конечного числа производственных подсистем, сами модели имели дискретно-непрерывный характер, расчеты делались исключительно на ЭВМ, получение аналитических зависимостей было затруднено. В настоящей работе показано, что для частного случая сбалансированного экономического роста и континуального множества производственных подсистем возможно получение аналитических выражений, позволяющих лучше понять особенности влияния денежно-кредитной политики на экономическую динамику. Кроме чисто научного интереса это имеет важное практическое значение, поскольку позволяет оценивать возможную реакцию реального сектора экономики на изменения в денежно-кредитной сфере без проведения сложных имитационных расчетов.

Известно, что внутренняя подвижность молекул ДНК играет важную роль в функционировании этих молекул. Этим объясняется большой интерес исследователей к изучению особенностей внутренней динамики ДНК. Сложность, трудоемкость и дороговизна проведения исследований в этой области стимулируют поиск и создание более простых физических аналогов, удобных для имитации различных динамических режимов, возможных в ДНК. Одно из направлений такого поиска связано с использованием механического аналога ДНК — цепочки связанных маятников. В этой модели маятники имитируют азотистые основания, горизонтальная нить, на которой подвешены маятники, имитирует сахаро-фосфатную цепочку, а гравитационное поле имитирует поле, наводимое второй нитью ДНК. Простота и наглядность — основные достоинства механического аналога. Однако модель становится слишком громоздкой в тех случаях, когда необходимо моделировать длинные (более тысячи пар оснований) последовательности ДНК. Другое направление связано с использованием электронного аналога молекулы ДНК, который лишен недостатков механической модели. В данной работе мы исследуем возможность использования в качестве электронного аналога джозефсоновскую линию. Мы рассчитали коэффициенты прямых и непрямых преобразований для простого случая однородной, синтетической ДНК, последовательность которой содержит только аденины. Внутренняя подвижности молекулы ДНК моделировалась уравнением синус-Гордона для угловых колебаний азотистых оснований, принадлежащих одной из двух полинуклеотидных цепей ДНК. При этом вторая полинуклеотидная цепь моделировалась как некоторое усредненное поле, в котором происходят эти колебания. Преобразование, позволяющее перейти от ДНК к электронному аналогу, было получено двумя способами. Первый включает две стадии: (1) переход от ДНК к механическому аналогу (цепочке связанных маятников) и (2) переход от механического аналога к электронному (линии Джозефсона). Второй способ прямой. Он включает только одну стадию — прямой переход от ДНК к электронному аналогу.