Все выпуски

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

Разработана программа, которая позволяет имитировать работу конвейера гибкого автоматизированного цеха сборки персональных компьютеров (ПК), с применением современного объектно-ориентированного языка программирования C#. Приведена диаграмма классов имитационной модели ГАЦ сборки ПК в режиме массового производства. Приводится анализ результатов моделирования.

С 50-х годов XX века транспортное моделирование крупных мегаполисов стало усиленно развиваться. Появились первые модели равновесного распределения потоков по путям. Наиболее популярной (и использующейся до сих пор) моделью была модель Бэкмана и др. 1955 г. В основу этой модели положены два принципа Вардропа. На современном теоретико-игровом языке можно кратко описать суть модели как поиск равновесия Нэша в популяционной игре загрузки, в которой потери игроков (водителей) рассчитываются исходя из выбранного пути и загрузках на этом пути, при фиксированных корреспонденциях. Загрузки (затраты) на пути рассчитываются как сумма затрат на различных участках дороги (ребрах графа транспортной сети). Затраты на ребре (время проезда по ребру) определяется величиной потока автомобилей на этом ребре. Поток на ребре, в свою очередь, определяется суммой потоков по всем путям, проходящим через заданное ребро. Таким образом, затраты на проезд по пути определяются не только выбором пути, но и тем, какие пути выбрали остальные водители. Таким образом, мы находимся в стандартной теоретико-игровой постановке. Специфика формирования функций затрат позволяет сводить поиск равновесия к решению задачи оптимизации (игра потенциальная). Эта задача оптимизации будет выпуклой, если функции затрат монотонно неубывающие. Собственно, различные предположения о функциях затрат формируют различные модели. Наиболее популярной моделью является модель с функцией затрат BPR. Такие функции используются при расчетах реальных городов повсеместно. Однако в начале XXI века Ю. Е. Нестеровым и А. де Пальмой было показано, что модели типа Бэкмана имеют серьезные недостатки. Эти недостатки можно исправить, используя модель, которую авторы назвали моделью стабильной динамики. Поиск равновесия в такой модели также сводится к задаче оптимизации. Точнее, даже задаче линейного программирования. В 2013 г. А. В. Гасниковым было обнаружено, что модель стабильной ди- намики может быть получена предельным переходом, связанным с поведением функции затрат, из модели Бэкмана. Однако обоснование упомянутого предельного перехода было сделано в нескольких важных (для практики), но все- таки частных случаях. В общем случае вопрос о возможности такого предельного перехода, насколько нам известно, остается открытым. Данная работа закрывает данный зазор. В статье в общем случае приводится обоснование возможности отмеченного предельного перехода (когда функция затрат на проезд по ребру как функция потока по ребру вырождается в функцию, равную постоянным затратам до достижения пропускной способности, и равна плюс бесконечности, при превышении пропускной способности).

В работе рассматривается структура моделей перколяции узлов на трехмерных квадратных решеткахпри различныхфор мах (1,π)-окрестности. Для этихмо делей предложены изо- и анизотропные модификации алгоритма инвазивной перколяции с (1,0)- и (1,π)-окрестностями. Все рассмотренные алгоритмы являются частными случаями анизотропного алгоритма инвазивной перколяции на n-мерной решетке с (1,π)-окрестностью. Данный алгоритм положен в основу библиотеки SPSL, выпущенной под лицензией GNU GPL-3 с использованием свободного языка программирования R.

Рассматривается основанный на методах линейной алгебры подход к анализу скорости электронного транспорта через цитохромный $b_6 f$-комплекс. В предложенном подходе зависимость квазистационарного потока электронов через комплекс от степени восстановленности пулов мобильных переносчиков электрона выступает в качестве функции отклика, характеризующей этот процесс. Разработано программное обеспечение на языке программирования Python, позволяющее построить основное кинетическое уравнение для комплекса по схеме элементарных реакций и вычислить квазистационарные скорости электронного транспорта через комплекс и динамику их изменения в ходе переходного процесса. Вычисления проводятся в многопоточном режиме, что позволяет эффективно использовать ресурсы современных вычислительных систем и за сравнительно небольшое время получать данные о функционировании комплекса в широком диапазоне параметров. Предложенный подход может быть легко адаптирован для анализа электронного транспорта в других компонентах фотосинтетической и дыхательной электрон-транспортной цепи, а также других процессов в сложных мультиферментных комплексах, содержащих несколько реакционных центров. Для параметризации модели цитохромного $b_6 f$-комплекса использованы данные криоэлектронной микроскопии и окислительно-восстановительного титрования. Получены зависимости квазистационарной скорости восстановления пластоцианина и окисления пластохинона от степени восстановленности пулов мобильных переносчиков электрона и проанализирована динамика изменения скорости в ответ на изменение редокс-состояния пула пластохинонов. Результаты моделирования находятся в хорошем согласовании с имеющимися экспериментальными данными.

Данная работа нацелена на программистов и разработчики, заинтересованных в использовании технологии параллельного программирования для увеличения производительности приложений. Программное обеспечение Oracle Solaris Studio обеспечивает современную оптимизацию и распараллеливание компиляторов для языков C, C ++ и ФОРТРАН, продвинутый отладчик, и оптимизированные математи- ческие и быстродействующие библиотеки. Также включены чрезвычайно мощный инструмент анализа производительности для профилирования последовательных и параллельных приложений, инструмент анализа для обнаружения состязания при передаче данных и блокировки в памяти параллельных программ и IDE. Программное обеспечение Oracle Message Passing Toolkit обеспечивает высокопроизводительные MPI библиотеки и сопряжённую среду во время работы программы, необходимую для приложений передачи сообщений, которые могут работать на одной системе или по всему множеству вычислительных систем с высокопроизводительным сетевым оснащением, включая Gigabit Ethernet, 10 Gigabit Ethernet, InfiniBand и Myrinet. Примеры OpenMP и MPI представлены по всему тексту работы, включая их использование через программные продукты Oracle Solaris Studio и Oracle Message Passing Toolkit для развития и развертывания последовательных и параллельных приложений на основе систем SPARC и x86/x64. В работе продемонстрировано, как развивать и развертывать приложение, распараллеленное с OpenMP и/или MPI.

Сверхпластическая формовка сплавов на основе титана и никеля широко применяется в аэрокосмической промышленности. Основным преимуществом использования эффекта сверхпластичности является возможность формования материала до очень высоких деформаций при значительных растягивающих напряжений в материале. Представленная работа посвящена изучению возможности программного комплекса, основанного на методе конечных элементов, SFTC DEFORM прогнозировать разнотолщинность наноструктурного сплава ВТ6 при низкотемпературной сверхпластической формовке. Экспериментально разнотолщинность при свехпластической формовке наблюдается при локализации пластического течения и усугубляется локальным разупрочнением материала, которое обусловлено структурными изменениями. Для анализа экспериментально наблюдаемого течения металла была построена теоретическая модель. При расчете использовались два подхода. Первый подход включал использование интегрированной в программный комплекс модели ползучести. Так как эффект сверхпластичности наблюдается только в материалах с ультрамелкозернистой структурой, второй подход заключался в разработке комбинированной реологической модели материала с учетом структурного состояния. С помощью пользовательского программирования на языке Fortran уравнения реологической модели с учетом структурных превращений были интегрированы в DEFORM на солверном уровне. Использование КЭ-моделирования для подобных задач позволяет оценивать скорость деформации в разных точках заготовки, что является важным для поддержания состояния сверхпластичности в материале. Сопоставление применяемых моделей пластического течения позволило выявить влияние эволюции микроструктуры на течение сплава в режиме сверхпластичности. Результаты моделирования и теоретические выводы подтверждаются результатами стандартного испытания по Эриксону. В результате проведения работы было установлено следующее: а) программный пакет DEFORM позволяет спрогнозировать формообразование при низкотемпературной сверхпластичности; б) для повышения достоверности прогнозирования мест локализации деформации при сверхпластической деформации СМК материалов необходимо учитывать влияние измерения микроструктурного состояния и его влияние на свойства материалов в процессе деформирования.

Радиофармацевтические препараты, меченные радиоизотопами йода, в настоящее время широко применяются в визуализирующих и невизуализирующих методах ядерной медицины. При оценке результатов радионуклидных исследований структурно-функционального состояния органов и тканей существенную роль приобретает параллельное моделирование кинетики радиофармпрепарата в организме. Сложность такого моделирования заключается в двух противоположных аспектах. С одной стороны, в чрезмерном упрощении анатомо-физиологических особенностей организма при разбиении его на компартменты, что может приводить к потере или искажению значимой для клинической диагностики информации, с другой — в излишнем учете всех возможных взаимосвязей функционирования органов и систем, что, наоборот, приведет к появлению избыточного количества абсолютно бесполезных для клинической интерпретации математических данных, либо модель становится вообще неразрешимой. В нашей работе вырабатывается единый подход к построению математических моделей кинетики радиофармпрепаратов с изотопами йода в организме человека при диагностических и терапевтических процедурах ядерной медицины. На основе данного подхода разработаны трех- и четырехкамерные фармакокинетические модели и созданы соответствующие им расчетные программы на языке программирования C⁺⁺ для обработки и оценки результатов радионуклидной диагностики и терапии. Предложены различные способы идентификации модельных параметров на основе количественных данных радионуклидных исследований функционального состояния жизненно важных органов. Приведены и проанализированы результаты фармакокинетического моделирования при радионуклидной диагностике печени, почек и щитовидной железы с помощью йодсодержащих радиофармпрепаратов. С использованием клинико-диагностических данных определены индивидуальные фармакокинетические параметры транспорта разных радиофармпрепаратов в организме (транспортные константы, периоды полувыведения, максимальная активность в органе и время ее достижения). Показано, что фармакокинетические характеристики для каждого пациента являются сугубо индивидуальными и не могут быть описаны усредненными кинетическими параметрами. В рамках трех фармакокинетических моделей получены и проанализированы зависимости «активность – время» для разных органов и тканей, в том числе для тканей, в которых активность радиофармпрепарата невозможно или затруднительно измерить клиническими методами. Также обсуждаются особенности и результаты моделирования и дозиметрического планирования радиойодтерапии щитовидной железы. Показано, что значения поглощенных радиационных доз очень чувствительны к кинетическим параметрам камерной модели — транспортным константам. Поэтому при индивидуальном дозиметрическом планировании радиойодтерапии следует уделять особое внимание получению точных количественных данных ультразвукового исследования и радиометрии щитовидной железы и на их основе идентификации параметров моделирования. Работа основана на принципах и методах фармакокинетики. Для численного решения систем дифференциальных уравнений фармакокинетических моделей мы использовали методы Рунге–Кутты и метод Розенброка. Для нахождения минимума функции нескольких переменных при идентификации параметров моделирования использовался метод Хука–Дживса.

В работе рассматриваются возможности реализации крупноблочных схем метода ветвей и границ для решения частично целочисленных задач линейного программирования. В качестве основы берется пакет оптимизации с открытым исходным кодом CBC. Анализируется возможность использования пакета для реализации крупноблочной схемы метода ветвей и границ. Система реализуется с использованием языка Erlang. Проводятся численные эксперименты на основе задачи о коммивояжере, показывающие заметное ускорение распределенной схемы решения задачи по сравнению с единичным однопоточным экземпляром пакета.