Все выпуски

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

В работе рассмотрен подход к оптимизации интегральных оценок состояния биосистем. Подход включает процедуры уменьшения вариабельности интегральных оценок, основанные на статистическом моделировании экспериментальных данных, а также оптимизацию числа признаков состояния на основе оценки их относительного вклада в интегральную оценку c использованием параллельных вычислений.

В работе предложен оптимизационный подход к имитационному моделированию микроструктур. Решены задачи оптимизации функции пористости, поиска оптимальной модели гранулометрического состава и введен критерий качества моделирования. Проведена проверка адекватности предложенных методов на примерах и предложена регрессионная модель качества имитационного моделирования микроструктур. Актуальным приложением предложенного подхода является задача 3D-реконструкции микроструктуры керна. Полученные результаты дают основания для продолжения исследований в выбранном направлении.

Миграция оказывает существенное влияние на формирование демографической структуры населения территорий, состояние региональных и локальных рынков труда. Быстрое изменение численности трудоспособного населения той или иной территории из-за миграционных процессов приводит к дисбалансу спроса и предложения на рынках труда, изменению демографической структуры населения. Миграция во многом является отражением социально-экономических процессов, происходящих в обществе. Поэтому становятся актуальными вопросы, связанные с изучением факторов миграции, направления, интенсивности и структуры миграционных потоков, прогнозированием их величины.

Для анализа, прогнозирования миграционных процессов и оценки их последствий часто используется математический инструментарий, позволяющий с нужной точностью моделировать миграционные процессы для различных территорий на основе имеющихся статистических данных. В последние годы как в России, так и в зарубежных странах появилось много научных работ, посвященных моделированию внутренних и внешних миграционных потоков с использованием математических методов. Следовательно, для формирования целостной картины основных тенденций и направлений исследований в этой области возникла необходимость в систематизации наиболее часто используемых методов и инструментов моделирования.

В представленном обзоре на основе анализа современных отечественных и зарубежных публикаций представлены основные подходы к моделированию миграции, основные составляющие методологии моделирования миграционных процессов — этапы, методы, модели и классификация моделей. Обзор содержит два раздела: методы моделирования миграционных процессов и модели миграции. В первом разделе приведено описание основных методов, используемых в процессе разработки моделей — эконометрических, клеточных автоматов, системно-динамических, вероятностных, балансовых, оптимизации и кластерного анализа. Во втором — выделены и описаны наиболее часто встречающиеся классы моделей — регрессионные, агент-ориентированные, имитационные, оптимизационные, веро- ятностные, балансовые, динамические и комбинированные. Рассмотрены особенности, преимущества и недостатки различных типов моделей миграционных процессов, проведен их сравнительный анализ и разработаны общие рекомендации по выбору математического инструментария для моделирования.

С 50-х годов XX века транспортное моделирование крупных мегаполисов стало усиленно развиваться. Появились первые модели равновесного распределения потоков по путям. Наиболее популярной (и использующейся до сих пор) моделью была модель Бэкмана и др. 1955 г. В основу этой модели положены два принципа Вардропа. На современном теоретико-игровом языке можно кратко описать суть модели как поиск равновесия Нэша в популяционной игре загрузки, в которой потери игроков (водителей) рассчитываются исходя из выбранного пути и загрузках на этом пути, при фиксированных корреспонденциях. Загрузки (затраты) на пути рассчитываются как сумма затрат на различных участках дороги (ребрах графа транспортной сети). Затраты на ребре (время проезда по ребру) определяется величиной потока автомобилей на этом ребре. Поток на ребре, в свою очередь, определяется суммой потоков по всем путям, проходящим через заданное ребро. Таким образом, затраты на проезд по пути определяются не только выбором пути, но и тем, какие пути выбрали остальные водители. Таким образом, мы находимся в стандартной теоретико-игровой постановке. Специфика формирования функций затрат позволяет сводить поиск равновесия к решению задачи оптимизации (игра потенциальная). Эта задача оптимизации будет выпуклой, если функции затрат монотонно неубывающие. Собственно, различные предположения о функциях затрат формируют различные модели. Наиболее популярной моделью является модель с функцией затрат BPR. Такие функции используются при расчетах реальных городов повсеместно. Однако в начале XXI века Ю. Е. Нестеровым и А. де Пальмой было показано, что модели типа Бэкмана имеют серьезные недостатки. Эти недостатки можно исправить, используя модель, которую авторы назвали моделью стабильной динамики. Поиск равновесия в такой модели также сводится к задаче оптимизации. Точнее, даже задаче линейного программирования. В 2013 г. А. В. Гасниковым было обнаружено, что модель стабильной ди- намики может быть получена предельным переходом, связанным с поведением функции затрат, из модели Бэкмана. Однако обоснование упомянутого предельного перехода было сделано в нескольких важных (для практики), но все- таки частных случаях. В общем случае вопрос о возможности такого предельного перехода, насколько нам известно, остается открытым. Данная работа закрывает данный зазор. В статье в общем случае приводится обоснование возможности отмеченного предельного перехода (когда функция затрат на проезд по ребру как функция потока по ребру вырождается в функцию, равную постоянным затратам до достижения пропускной способности, и равна плюс бесконечности, при превышении пропускной способности).

Статья представляет собой исследование математической модели и особенностей кинематики параллельного сферического манипулятора. Этот тип манипулятора был предложен еще в 80-х годах прошлого века и с тех пор нашел применение в экзоскелетах и реабилитационных роботах благодаря своей структуре, которая позволяет имитировать естественные движения суставов человеческого тела.

Параллельный сферический манипулятор имеет три параллельных двухзвенных рычажных механизма, которые соединяют две платформы — базовую и мобильную. Звенья механизма имеют дугообразную форму. Геометрически манипулятор можно описать с помощью двух виртуальных пирамид, которые расположены друг над другом.

В данной работе рассматриваются два основных типа конфигураций манипулятора (классическая и асимметричная) и решаются основные кинематические задачи для каждой из них. Исследование показывает, что асимметричное исполнение манипулятора имеет максимальное рабочее пространство, особенно когда моторы установлены в месте соединения опорных звеньев манипулятора.

Для оптимизации параметров параллельного сферического манипулятора вводится метрика полезного объема рабочего пространства. Данная метрика представляет собой объем сектора сферы, в котором робот не испытывает внутренних коллизий или сингулярных состояний. Внутри параллельного сферического манипулятора возможны три типа сингулярных состояний: последовательная, параллельная и смешанная сингулярность. Для расчета полезного объема были учтены все три типа сингулярностей. В ходе исследования решалась задача максимизации полезного объема рабочего пространства.

В результате исследования было обнаружено, что асимметричная конфигурация сферического манипулятора обеспечивает максимальное рабочее пространство, когда моторы расположены в месте соединения опорных звеньев механизмов робота. При этом для достижения максимального рабочего пространства параметр $\beta_1$ должен быть равен нулю градусов. Это позволило создать прототип робота, в котором вместо нижних опорных звеньев использована радиусная рельса, вдоль которой движутся моторы. Это позволило уменьшить линейные размеры самого робота и повысить жесткость конструкции.

Полученные результаты могут быть использованы для оптимизации параметров параллельного сферического манипулятора с целью применения его в различных промышленных и научных задачах, а также для дальнейшего исследования других типов параллельных роботов и манипуляторов.

В статье рассматриваются вопросы применения метода оптимизации для поддержки процессов планирования складских системах с помощью технологии имитационного моделирования. Исследованы механизмы взаимосвязи оптимизационной и имитационной моделей, а также подробно описан алгоритм разработки оптимизационной имитационной модели складской системы для поддержки процессов планирования.

В статье рассматривается процесс поиска опорных траекторий движения плоского пятизвенного двуногого шагающего робота с точечным контактом. Для этого используются метод приведения динамики к низкоразмерному нулевому многообразию с помощью наложения виртуальных связей и алгоритмы нелинейной оптимизации для поиска параметров наложенных связей. Проведен анализ влияния степени полиномов Безье, аппроксимирующих виртуальные связи, а также условия непрерывности управляющих воздействий на энергоэффективность движения. Численные расчеты показали, что на практике достаточно рассматривать полиномы со степенями 5 или 6, так как дальнейшее увеличение степени приводит к увеличению вычислительных затрат, но не гарантирует уменьшение энергозатрат походки. Помимо этого, было установлено, что введение ограничений на непрерывность управляющих воздействий не приводит к существенному уменьшению энергоэффективности и способствует реализуемости походки на реальном роботе благодаря плавному изменению крутящих моментов в приводах. В работе показано, что для решения задачи поиска минимума целевой функции в виде энергозатрат при наличии большого количества ограничений целесообразно на первом этапе найти допустимые точки в пространстве параметров, а на втором этапе — осуществлять поиск локальных минимумов, стартуя с этих точек. Для первого этапа предложен алгоритм расчета начальных приближений искомых параметров, позволяющий сократить время поиска траекторий (в среднем до 3-4 секунд) по сравнению со случайным начальным приближением. Сравнение значений целевых функций на первом и на втором этапах показывает, что найденные на втором этапе локальные минимумы дают в среднем двукратный выигрыш по энергоэффективности в сравнении со случайно найденной на первом этапе допустимой точкой. При этом времязатраты на выполнение локальной оптимизации на втором этапе являются существенными.

Хотя эпоха экспоненциального роста производительности компьютерных микросхем закончилась, даже настольные процессоры общего назначения сегодня имеют 16 и больше ядер. Поскольку пропускная способность памяти DRAM растет не с такой скоростью, как вычислительная мощность ядер, разработчики процессоров должны искать пути уменьшения частоты обменов с памятью на одну инструкцию. Непосредственным путем к этому является снижение частоты промахов в кэш последнего уровня. Предполагая уже реализованной схему «неинклюзивный кэш с инклюзивным справочником» (NCID), три способа дальнейшего снижения частоты промахов были исследованы.

Первый способ — это достижение более равномерного использования банков и наборов кэша применением хэш-функций для интерливинга и индексирования. В экспериментах в тестах SPEC CPU2017 refrate, даже простейшие хэш-функции на основе XOR показали увеличение производительности на 3,2%, 9,1% и 8,2% в конфигурациях процессора с 16, 32 и 64 ядрами и банками общего кэша, сравнимое с результатами для более сложных функций на основе матриц, деления и CRC.

Вторая оптимизация нацелена на уменьшение дублирования на разных уровнях кэшей путем автоматического переключения на эксклюзивную схему, когда она выглядит оптимальной. Известная схема этого типа, FLEXclusion, была модифицирована для использования в NCID-кэшах и показала улучшение производительности в среднемна 3,8%, 5,4% и 7,9% для 16-, 32- и 64-ядерных конфигураций.

Третьей оптимизацией является увеличение фактической емкости кэша использованием компрессии. Частота сжатия недорогим и быстрыма лгоритмом B DI*-HL (Base-Delta-Immediate Modified, Half-Line), разработанным для NCID, была измерена, и соответствующее увеличение емкости кэша дало около 1% среднего повышения производительности.

Все три оптимизации могут сочетаться и продемонстрировали прирост производительности в 7,7%, 16% и 19% для конфигураций с 16, 32 и 64 ядрами и банками соответственно.