Все выпуски

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

Рассматривается иерархическая модель, предложенная Джохансеном и Сорнеттом, описывающая механизм возникновения логопериодических колебаний, предшествующих финансовым крахам, и проводится ее численный анализ. Предлагаются обобщения данной модели на основе введения зависимость степени влияния агентов друг на друга от ультраметрического расстояния между ними. Наибольшее внимание уделяется вопросу об универсальности критической точки, который исследуется с помощью построения распределений точек краха при различном числе агентов.

Финансовая математика является одним из наиболее естественных приложений для статистического анализа временных рядов. Действительно, финансовые временные ряды являются порождением одновременной деятельности большого числа различных экономических агентов, что дает основания ожидать, что к ним могут быть применимы методы статистической физики и теории случайных процессов.

В настоящей работе проведен статистический анализ временных рядов для пар валют на рынке FOREX. Особый интерес представляет сравнение поведения временного ряда как функции, с одной стороны, физического времени и, с другой стороны, условного торгового времени, измеряемого в числе элементарных актов изменения цены (тиков). Экспериментально наблюдаемая статистика рассмотренных временных рядов (пар валют «евро–доллар» для первых половин 2007 и 2009 годов и «британский фунт–доллар» для 2007 года) радикально отличается в зависимости от выбора способа измерения времени. Так, при измерении времени в единицах тиков распределение приращений цены может быть хорошо описано нормальным распределением уже на масштабе порядка десяти тиков. При этом при измерении приращений цены как функции реального физического времени распределение приращений продолжает радикально отличаться от нормального, вплоть до масштабов порядка минут и даже часов.

Для объяснения этого явления нами исследованы статистические свойства элементарных приращений по цене и по времени. В частности, показано, что распределение времени между тиками для всех трех рассмотренных временных рядов имеет длинные (1-2 порядка по времени) степенные хвосты с экспоненциальным обрезанием на больших временах. Получены приближенные выражения для распределений времен ожидания для всех трех рассмотренных случаев. Другие статистические характеристики временного ряда (распределение элементарных изменений цены, парные корреляционные функции для приращений цены и для времен ожидания) демонстрируют достаточно простое поведение. Таким образом, именно аномально широкое распределение времен ожидания играет наиболее важную роль в наблюдаемом отклонении распределения приращений от нормального. В связи с этим результатом мы обсуждаем возможность применения модели случайного процесса с непрерывным временем (continuous time random walk, CTRW) для описания временных рядов FOREX.

Ингибиторы гистондеацетилаз (HDACi) рассматриваются в качестве перспективного класса препаратов для лечения рака из-за их влияния на рост клеток, дифференцировку и апоптоз. Ангиогенез играет важную роль в росте солидных опухолей и развитии метастазов. Фактор роста эндотелия сосудов (VEGF) является ключевым ангиогенным агентом, который секретируется злокачественными опухолями, что индуцирует пролиферацию и миграцию эндотелиальных клеток сосудов. В настоящее время наиболее перспективной стратегией в борьбе с онкологическими заболеваниями является создание гибридных лекарств, одновременно действующих на несколько физиологических мишеней. Значительный интерес с точки зрения создания бифункциональных противоопухолевых средств представляют соединения, содержащие одновременно N-фенил-4-аминохиназолин и гидроксамовую кислоту, так как данные фрагменты по отдельности присутствуют в уже успешно применяемых противоопухолевых лекарственных средствах. В этой связи в ходе литературного анализа была сформирована выборка из 42 соединений, содержащих указанные молекулярные фрагменты и обладающих экспериментальными данными по ингибированию HDAC, VEGFR-2 и росту клеток рака легкого человека MCF-7. С использованием симплексных дескрипторов и метода опорных векторов (Support Vector Machine, SVM) для указанной выборки, предварительно разделенной на обучающий и тестовый наборы, были построены удовлетворительные (R²_test = 0.64–0.87) модели количественной связи «структура–активность» (Quantitative Structure- Activity Relationship, QSAR). Для полученных QSAR-моделей была проведена структурная интерпретация. Было оценено согласованное влияние различных молекулярных фрагментов на увеличение противоопухолевой активности исследуемых соединений. Среди заместителей N-фенильного фрагмента можно выделить положительный вклад брома в пара-положении для всех трех видов активности. По результатам интерпретации был проведен рациональный молекулярный дизайн и предложены перспективные соединения. Для сравнительного QSAR-исследования использованы физико-химические дескрипторы, рассчитываемые программой HYBOT, метод случайного леса (Random Forest, RF), а также онлайн-версия экспертной системы OCHEM (https://ochem.eu). При моделировании OCHEM были выбраны PyDescriptor-дескрипторы и метод экстремального градиентного бустинга. Кроме того, полученные с помощью экспертной системы OCHEM модели были использованы для виртуального скрининга 300 соединений с целью отбора перспективных VEGFR-2/HDAC-ингибиторов для последующего синтеза и испытаний.

Миграция оказывает существенное влияние на формирование демографической структуры населения территорий, состояние региональных и локальных рынков труда. Быстрое изменение численности трудоспособного населения той или иной территории из-за миграционных процессов приводит к дисбалансу спроса и предложения на рынках труда, изменению демографической структуры населения. Миграция во многом является отражением социально-экономических процессов, происходящих в обществе. Поэтому становятся актуальными вопросы, связанные с изучением факторов миграции, направления, интенсивности и структуры миграционных потоков, прогнозированием их величины.

Для анализа, прогнозирования миграционных процессов и оценки их последствий часто используется математический инструментарий, позволяющий с нужной точностью моделировать миграционные процессы для различных территорий на основе имеющихся статистических данных. В последние годы как в России, так и в зарубежных странах появилось много научных работ, посвященных моделированию внутренних и внешних миграционных потоков с использованием математических методов. Следовательно, для формирования целостной картины основных тенденций и направлений исследований в этой области возникла необходимость в систематизации наиболее часто используемых методов и инструментов моделирования.

В представленном обзоре на основе анализа современных отечественных и зарубежных публикаций представлены основные подходы к моделированию миграции, основные составляющие методологии моделирования миграционных процессов — этапы, методы, модели и классификация моделей. Обзор содержит два раздела: методы моделирования миграционных процессов и модели миграции. В первом разделе приведено описание основных методов, используемых в процессе разработки моделей — эконометрических, клеточных автоматов, системно-динамических, вероятностных, балансовых, оптимизации и кластерного анализа. Во втором — выделены и описаны наиболее часто встречающиеся классы моделей — регрессионные, агент-ориентированные, имитационные, оптимизационные, веро- ятностные, балансовые, динамические и комбинированные. Рассмотрены особенности, преимущества и недостатки различных типов моделей миграционных процессов, проведен их сравнительный анализ и разработаны общие рекомендации по выбору математического инструментария для моделирования.

Еще в середине позапрошлого десятилетия ученые, изучавшие функционирование сообществ насекомых, выделили 4 основных паттерна организационной структуры таких сообществ. (i) Сотрудничество более развито в группах с сильным родством. (ii) Кооперация у видов с большими размерами колоний зачастую развита больше, чем у видов с малыми размерами колоний. Причем в колониях малого размера зачастую наблюдаются больший внутренний репродуктивный конфликт и меньшая морфологическая и поведенческая специализация. (iii) В пределах одного вида численность выводка (т. е. в некотором смысле эффективность) на душу населения обычно снижается по мере увеличения размера колонии. (iv) Развитая кооперация, склонная проявляться при ограниченности ресурсов и жесткой межгрупповой конкуренции. Думая о функционировании группы организмов как о двухуровневом рынке конкуренции, в котором в процессе индивидуального отбора особи сталкиваются с проблемой распределения своей энергии между инвестициями в межгрупповую конкуренцию и инвестициями во внутригрупповую конкуренцию, т. е. внутреннюю борьбу за долю ресурсов, полученных в результате межгрупповой конкуренции, можно сопоставить подобной биологической ситуации экономический феномен coopetition — кооперацию конкурирующих агентов с целью в дальнейшем конкурентно поделить выигранный вследствие кооперации ресурс. В рамках экономических исследований были показаны эффекты, аналогичные (ii): в рамках соревнования большой и маленькой групп оптимальной стратегией большой будет полное выдавливание второй группы и монополизация рынка (т. е. большие группы склонны действовать кооперативно); (iii) существуют условия, при которых размер группы оказывает негативное влияние на продуктивность каждого ее индивида (такой эффект называется парадоксом размера группы, или эффект Рингельмана). Общей идеей моделирования подобных эффектов является идея пропорциональности: каждый индивид (особь / рациональный агент) решает, какую долю своих сил инвестировать в межгрупповую конкуренцию, а какую — во внутригрупповую. При этом выигрыш группы должен быть пропорционален ее суммарным инвестициям в конкуренцию, тогда как выигрыш индивида пропорционален его вкладу во внутривидовую борьбу. Несмотря на распространенность эмпирических наблюдений, до сих пор не была введена теоретико-игровая модель, в которой можно было бы подтвердить наблюдаемые эмпирически эффекты. В рамках данной работы предлагается модель, которая устраняет проблемы ранее существующих, а моделирование равновесных по Нэшу состояний в рамках предложенной модели позволяет пронаблюдать перечисленные выше эффекты в ходе численных экспериментов.

Ранее нами был предложен и развит метод исследования ДНК, основанный на расщеплении двунитевых фрагментов ДНК под действием ультразвука. Были получены относительные частоты расщепления фосфодиэфирной связи во всех 16 динуклеотидах. Увеличение базы проанализированных данных до 20 тысяч нуклеотидов позволил получить относительные частоты расщепления для 256 тетрануклеотидов. Эти величины количественно характеризуют влияние последовательности нуклеотидов на конформационную динамику сахарофосфатного остова. Сейчас известны определённые типы гетерогенности сахарофосфатного остова ДНК, связанные с расщеплением ДНК различными химическими агентами или ДНКазой 1. Гетерогенность свойств молекулы ДНК может быть использована для физического картирования генома, то есть определения участков, отвечающих за регуляцию генетический экспрессии.

В последнее десятилетие в онкологии наряду с классическими цитотоксическими агентами при химиотерапии стали активно использоваться антиангиогенные препараты. Они направлены не на убийство злокачественных клеток, а на блокирование процесса ангиогенеза — роста новых сосудов в опухолевом микроокружении. Вещества, стимулирующие ангиогенез, в частности фактор роста эндотелия сосудов, активно вырабатываются опухолевыми клетками, находящимися в состоянии метаболического стресса. Считается, что блокирование опухолевой неоваскуляризации должно привести к нехватке питательных веществ в опухоли, а значит, и к остановке или по крайней мере к существенному замедлению ее роста. Клиническая практика применения первого антиангиогенного препарата, бевацизумаба, показала, что в ряде случаев такая терапия не влияет на скорость роста опухоли, тогда как для других типов опухолей антиангиогенная терапия обладает высоким противоопухолевым действием. Однако было показано, что при успешном замедлении роста опухоли терапия бевацизумабом может вызывать направленную прогрессию опухоли к более инвазивному, а значит, более летальному типу. Эти данные требуют теоретического анализа и определения ключевых факторов, приводящих к такой опухолевой прогрессии, которая в литературе ассоциируется с эпителиально-мезенхимальным переходом. Для решения этой задачи была разработана пространственно-распределенная математическая модель роста и антиангиогенной терапии гетерогенной опухоли, состоящей из двух субпопуляций злокачественных клеток. Одна из субпопуляций обладает свойствами, присущими эпителиальному фенотипу, — малой подвижностью и высокой скоростью пролиферации, другая соответствует мезенхимальному фенотипу и обладает высокой подвижностью и медленной скоростью деления. Проведено исследование конкурентной борьбы между этими субпопуляциями в гетерогенной опухоли как в случае роста опухоли без терапии, так и в случае монотерапии бевацизумабом. Показано, что постоянное использование антиангиогенного препарата приводит к увеличению области в пространстве параметров, где происходит доминирование мезенхимального фенотипа: в определенном диапазоне параметров в отсутствие терапии доминирует эпителиальный фенотип, а при терапии бевацизумабом начинает доминировать мезенхимальный фенотип. Данный результат является теоретическим обоснованием наблюдаемой в клинической практике направленной прогрессии опухоли к более инвазивному типу при проведении антиангиогенной терапии.

В теоретико-игровой постановке рассмотрена модель борьбы с коррупцией при распределении ресурсов. Система распределения ресурсов включает в свой состав одного принципала (субъект управления верхнего уровня), одного или нескольких супервайзеров (субъектов среднего уровня) и нескольких агентов (субъекты нижнего уровня). Отношения между субъектами разных уровней строятся на основе иерархии: субъект верхнего уровня воздействует (управляет) на субъектов среднего уровня, а те, в свою очередь, на субъектов нижнего уровня. Предполагается, что коррупции подвержен средний уровень управления. Агенты предлагают супервайзеру взятки, в обмен на которые он предоставляет им дополнительные доли ресурса. Предположим также, что принципал не подвержен коррупции и является бескорыстным, не преследующим частных целей. Исследование модели проведено с точки зрения как супервайзера, так и агентов. C точки зрения агентов, возникает некооперативная игра, в которой находится равновесие Нэша. При этом задачи оптимального управления для частного вида входных функций решаются аналитически с помощью принципа максимума Понтрягина. C точки зрения супервайзера, возникает игра, которая ведется в соответствии с регламентом игры Гермейера Г_2t. Указан алгоритм построения равновесия. Стратегия наказания находится аналитически. Стратегия поощрения в случае входных функций общего вида находится численно. Строится дискретный аналог непрерывной модели. Предполагается, что все субъекты управления могут изменять свои стратегии поведения в одни и те же моменты времени конечное число раз. В результате от задачи максимизации своего целевого функционала супервайзер переходит к задаче максимизации целевой функции многих переменных. Для нахождения ее наибольшего значения используется метод качественно репрезентативных сценариев. Идея этого метода состоит в том, что из множества потенциально возможных сценариев управления выбираются только сценарии, позволяющие представить качественно различные пути развития системы. В результате мощность этого множества не слишком велика и удается осуществить полный перебор качественно репрезентативных сценариев и найти стратегию поощрения агентов. После ее нахождения супервайзер предлагает агентам механизм управления с обратной связью по управлению, состоящий в наказании агентов при отклонении от выбранной супервайзером стратегии и поощрении в противном случае.