Все выпуски
- 2024 Том 16
- 2023 Том 15
- 2022 Том 14
- 2021 Том 13
- 2020 Том 12
- 2019 Том 11
- 2018 Том 10
- 2017 Том 9
- 2016 Том 8
- 2015 Том 7
- 2014 Том 6
- 2013 Том 5
- 2012 Том 4
- 2011 Том 3
- 2010 Том 2
- 2009 Том 1
-
Обзор выпуклой оптимизации марковских процессов принятия решений
Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 329-353В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.
Ключевые слова: MDP, выпуклая оптимизация, $Q$-обучение, линейное программирование, методы градиента политики. -
Моделирование предкрахового поведения цен на иерархически организованном финансовом рынке
Компьютерные исследования и моделирование, 2011, т. 3, № 2, с. 215-222Просмотров за год: 1.Рассматривается иерархическая модель, предложенная Джохансеном и Сорнеттом, описывающая механизм возникновения логопериодических колебаний, предшествующих финансовым крахам, и проводится ее численный анализ. Предлагаются обобщения данной модели на основе введения зависимость степени влияния агентов друг на друга от ультраметрического расстояния между ними. Наибольшее внимание уделяется вопросу об универсальности критической точки, который исследуется с помощью построения распределений точек краха при различном числе агентов.
-
Система хранения профилей физических свойств ДНК на примере промоторов Escherichia coli
Компьютерные исследования и моделирование, 2013, т. 5, № 3, с. 443-450Просмотров за год: 3.В данной работе нами представлена база данных, спроектированная для хранения профилей физических свойств вдоль двойной спирали ДНК, и продемонстрировано ее использование для хранения, поиска и анализа промоторных последовательностей E. coli. Отличительным свойством предложенной базы данных является то, что весь профиль хранится как единый объект, который с точки зрения СУБД полностью подобен строке или числу. Такие объекты СУБД может сравнивать друг с другом и осуществлять быструю выборку на основании индексов. В базу данных загружена информация о 1227 известных промоторах. Для каждого промотора сохранена нуклеотидная последовательность, а также вычислен и загружен в базу профиль электростатического потенциала промоторной ДНК. Кроме того, каждый промотор связан с генами, транскипцию которых он регулирует, а также с записями о сайтах посадки транскрипционных факторов, влияющих на функционирование промотора. Организован доступ к базе данных через интернет; исходные коды доступны для скачивания, а содержимое базы данных может быть выслано авторами по запросу.
-
Оптимизационный подход к имитационному моделированию микроструктур
Компьютерные исследования и моделирование, 2013, т. 5, № 4, с. 597-606В работе предложен оптимизационный подход к имитационному моделированию микроструктур. Решены задачи оптимизации функции пористости, поиска оптимальной модели гранулометрического состава и введен критерий качества моделирования. Проведена проверка адекватности предложенных методов на примерах и предложена регрессионная модель качества имитационного моделирования микроструктур. Актуальным приложением предложенного подхода является задача 3D-реконструкции микроструктуры керна. Полученные результаты дают основания для продолжения исследований в выбранном направлении.
Ключевые слова: имитационное моделирование микроструктур, плотная упаковка, оптимизация, 3D-реконструкция.Просмотров за год: 4. Цитирований: 7 (РИНЦ). -
Компьютерное моделирование разгона гироскопического стабилизатора для расточной головки
Компьютерные исследования и моделирование, 2014, т. 6, № 4, с. 569-575В статье приведена конструктивная схема предложенного устройства гироскопической стабилизации расточной головки. Описана компьютерная модель гидрореактивного гироскопа этого устройства, постановка задачи компьютерного моделирования и его результаты.
Ключевые слова: обработка глубоких отверстий, устройство стабилизации расточного инструмента.Просмотров за год: 1. Цитирований: 1 (РИНЦ). -
Молекулярная модель образования комплекса ОСР с фикобилисомой
Компьютерные исследования и моделирование, 2014, т. 6, № 5, с. 761-774Построена молекулярная модель взаимодействия фикобилисомыс ОСР, белком-тушителем, регулирующим передачу энергии от фикобилисом к фотосистемам в пигментном аппарате цианобактерий. Полученная модель не требует нарушения известной по рентгеноструктурным данным пространственной структуры взаимодействующих белков, а также позволяет удовлетворительно описать процесс переноса энергии к ОСР от фикобилисомы. Методом MM–PBSA рассчитана свободная энергия образования комплекса. Показано, что свободная энергия имеет величину не более нескольких десятков кДж/моль, что хорошо согласуется с наблюдаемой в эксперименте небольшой устойчивостью комплекса. Показано, что удельная свободная энергия взаимодействия рассматриваемых в модели весьма гидрофильных белков друг с другом примерно в два раза превышает удельную энергию их взаимодействия с водой, что свидетельствует о высокой комплементарности контактирующих белковых поверхностей и является сильным аргументом в пользу предложенной модели.
Ключевые слова: фикобилисома, OCP, комплексоообразование, молекулярное моделирование, свободная энергия, MM–PBSA. -
Метод расчета электрических свойств насыщенных горных пород, учитывающий поверхностную проводимость
Компьютерные исследования и моделирование, 2015, т. 7, № 5, с. 1081-1088Просмотров за год: 4. Цитирований: 1 (РИНЦ).Предложен новый эффективный численный метод расчета электрических свойств горных пород с двухфазным насыщением типа «нефть–вода». Метод позволяет учитывать влияние поверхностной проводимости двойных электрических слоев, возникающих на контакте скелета породы с водным раствором в поровом пространстве. В основе метода лежит задача нахождения распределения электрического потенциала в трехмерной цифровой модели пористой среды высокого разрешения. Цифровая модель воспроизводит пространственную структуру поровых каналов на микроуровне и содержит элементы сетки объемного и поверхностного типов. Результаты расчетов показывают важность учета поверхностной проводимости.
-
Секционная модель несвободного роста дерева
Компьютерные исследования и моделирование, 2016, т. 8, № 2, с. 307-322Представлена трехмерная секционная модель динамики биомассы дерева, растущего на ограниченной территории. Структура трехмерного дерева состоит из секций, периодически возникающих на макушке дерева и одновременно дающих начало виртуальным «деревьям», последовательно вложенным в своих предшественников. Зеленая биомасса секций есть разность смежных виртуальных деревьев. Секции имеют динамику, отличную от динамики самого дерева, и их биомасса со временем постепенно отмирает (в том числе и в условиях свободного роста дерева), что объясняет оголение ствола снизу. В 3D-модели динамики биомассы несвободно растущего дерева для описания динамики биомассы секций и составляющих их секторов используются уравнения, аналогичные предложенным для 2D-модели дерева. Представлены примеры динамики биомассы секторов, секций и дерева. Динамика годографов азимутального распределения биомассы секции демонстрирует, что нижние секции дерева, растущего на ограниченной территории, находятся в угнетении и отмирают (более быстро по сравнению с моделью свободно растущего дерева), а на макушке дерева появляются и растут свободно новые секции. В результате вверх по стволу двигается волна биомассы дерева.
Ключевые слова: двумерная модель, динамика биомассы, несвободно растущее дерево, секционная модель, конкуренция в сообществе.Просмотров за год: 1. Цитирований: 1 (РИНЦ). -
Использование сверточных нейронных сетей для прогнозирования скоростей транспортного потока на дорожном графе
Компьютерные исследования и моделирование, 2018, т. 10, № 3, с. 359-367Просмотров за год: 36.Краткосрочное прогнозирование потока трафика является однойиз основных задач моделирования транспортных систем, основное назначение которой — контроль дорожного движения, сообщение об авариях, избежание дорожных пробок за счет знания потока трафика и последующего планирования транспортировки. Существует два типа подходов для решения этой задачи: математическое моделирование трафика и модель с использованием количественных данных трафика. Тем не менее большинство пространственно-временных моделейст радают от высокой математической сложности и низкой эффективности. Искусственные нейронные сети, один из видных подходов второго типа, показывают обещающие результаты в моделировании динамики транспортнойс ети. В данной работе представлена архитектура нейронной сети, используемойдля прогнозирования скоростейт ранспортного потока на графе дорожной сети. Модель основана на объединении рекуррентнойней ронной сети и сверточнойней ронной сети на графе, где рекуррентная нейронная сеть используется для моделирования временных зависимостей, а сверточная нейронная сеть — для извлечения пространственных свойств из трафика. Для получения предсказанийна несколько шагов вперед используется архитектура encoder-decoder, позволяющая уменьшить накопление шума из-за неточных предсказаний. Для моделирования сложных зависимостей мы используем модель, состоящую из нескольких слоев. Нейронные сети с глубокойархитек туройсло жны для тренировки; для ускорения процесса тренировки мы используем skip-соединения между каждым слоем, так что каждыйслой учит только остаточную функцию по отношению к предыдущему слою. Полученная объединенная нейронная сеть тренировалась на необработанных данных с сенсоров транспортного потока из сети шоссе в США с разрешением в 5 минут. 3 метрики — средняя абсолютная ошибка, средняя относительная ошибка, среднеквадратическая ошибка — использовались для оценки качества предсказания. Было установлено, что по всем метрикам предложенная модель имеет более низкую погрешность предсказания по сравнению с ранее опубликованными моделями, такими как Vector Auto Regression, Long Short-Term Memory и Graph Convolution GRU.
-
Применение метода линий тока для ускорения расчетов неизотермической нелинейной фильтрации
Компьютерные исследования и моделирование, 2018, т. 10, № 5, с. 709-728Просмотров за год: 18.Работа посвящена численному моделированию плоской неизотермической нелинейной фильтрации в пористой среде. Рассматривается двумерная нестационарная задача течения высоковязкой нефти, воды и пара с фазовыми переходами. Нефтяная фаза представлена двумя псевдокомпонентами: легкой и тяжелой фракциями, которые, как и водный компонент, могут присутствовать в газовой фазе. Нефть проявляет вязкопластическую реологию, ее фильтрация не подчиняется классическому линейному закону Дарси. При моделировании учтена не только зависимость плотности и вязкости флюидов от температуры, но и улучшение реологических свойств нефти с ростом температуры.
Для численного решения задачи применен метод линий тока с расщеплением по физическим процессам, заключающийся в отделении конвективного переноса, направленного вдоль скорости фильтрации, от теплопроводности и гравитации. Предложен новый подход применения метода линий тока, позволяющий корректно моделировать задачи нелинейной фильтрации с реологией, зависящей от температуры. Суть этого алгоритма заключается в рассмотрении процесса интегрирования как совокупности квазиравновесных состояний, которые достигаются путем решения системы на глобальной сетке и между которыми решение проводится на сетке из линий тока. Использование метода линий тока позволяет не только ускорить расчеты фильтрации, но и получить физически достоверную картину решения, так как интегрирование системы происходит на сетке, совпадающей с направлением течения флюидов.
Помимо метода линий тока, в работе представлен алгоритм учета негладких коэффициентов, возникающих при решении уравнения течения вязкопластической нефти. Использование этого алгоритма позволяет сохранить достаточно большой шаг по времени и не изменяет физическую картину решения.
Полученные результаты сопоставлены с известными аналитическими решениями, а также с результатами, полученными при расчете в коммерческом пакете. Анализ проведенных тестовых расчетов на сходимость по количеству линий тока, а также на разных сетках на линиях тока обосновывает применимость предлагаемого алгоритма, а уменьшение времени расчета, по сравнению с традиционными методами, демонстрирует практическую значимость этого подхода.
Журнал индексируется в Scopus
Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU
Журнал входит в систему Российского индекса научного цитирования.
Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science
Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"