Все выпуски

Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.

Исследуется влияние промысла на структурированную рыбную популяцию в случайным образом меняющихся условиях среды обитания. Параметры популяции соответствуют массовым видам пелагических рыб дальневосточных морей северо-западной части Тихого океана (минтай, сельдь, сардина). В различных частях Мирового океана обитают похожие виды рыб. В качестве основного признака принимается различие особей по размеру. Это легко измеряемая в промысловых условиях характеристика, она достаточно хорошо определяет основные свойства особей: возраст, половозрелость, другие морфологические и физиологические особенности. Флуктуации внешней среды оказывают существенное влияние на особей в ранних стадиях развития, во взрослом состоянии наблюдающиеся изменения во внешней среде слабо влияют на жизнедеятельность особей. Характеристики промысла выбираются оптимальными с точки зрения дохода от него. Основной управляющей характеристикой промысла являются промысловые усилия. Зависимость дохода от количества промысловых усилий выбрана квадратичной в части затрат от промысла, что соответствует экономическим представлениям о росте затрат при увеличении объемов производства. Модельное исследование показывает, что структура популяции обеспечивает повышенную стабильность популяции. В процессе роста особей и их выбывания из-за естественной смертности сглаживаются колебания плотности численности, возникающие из-за сильного влияния на особей флуктуаций среды обитания на ранних стадиях развития. Сглаживающую роль играет диффузионная составляющая процессов роста. В свою очередь, промысел обладает сглаживающим воздействием по отношению к изменениям (в том числе и стохастическим) среды обитания, существенно влияющим на обилие молоди и последующую динамику обилия популяции рыб. В сравнении с оптимальным переменным по интенсивности промыслом исследован постоянный по интенсивности режим промысла. При этом оказалось, что в динамичных условиях среды и стохастической динамике численности пополнения существует постоянное по времени промысловое усилие, по эффективности близкое к оптимальному переменному промыслу. Это означает, что постоянный или слабо меняющийся по количеству промысловых усилий промысел может оказаться весьма эффективным с точки зрения дохода.

Ультразвуковое исследование свойств материалов является прецизионным методом определения их упругих и прочностных свойств в связи с маленькой по сравнению с толщиной пластины длиной волны, образующейся в материале после воздействия лазерным пучком. В данной работе подробно рассмотрены волновые процессы, возникающие в ходе проведения этих измерений. Показано, что полноволновое численное моделирование позволяет детально изучать типы волн, геометрические характеристики их профиля, скорость прихода волн в различные точки, выявлять типы волн, измерения по которым оптимальны для исследований образца с заданными материалом и формой, разрабатывать методики измерений.

Для осуществления полноволнового моделирования в данной работе был применен сеточно-характеристический метод на структурированных сетках и решалась гиперболическая система уравнений, описывающая распространение упругих волн в материале рассматриваемой пластины конечной толщины на конкретном примере отношения толщины к ширине 1:10.

Для моделирования упругого фронта, возникшего в пластине от воздействия лазерного пучка, предложена соответствующая постановка задачи. Выполнено сравнение возникающих при ее использовании волновых эффектов со случаем точечного источника и с данными физических экспериментов о распространении лазерного ультразвука в металлических пластинах.

Проведено исследование, на основании которого были выявлены характерные геометрические особенности рассматриваемых волновых процессов. Исследованы основные типы упругих волн, возникающие в процессе воздействия лазерного пучка, проанализирована возможность их использования для исследования свойств материалов и предложен метод, основанный на анализе кратных волн. Проведено тестирование предложенного метода по изучению свойств пластины при помощи кратных волн на синтетических данных, показавшее хорошие результаты.

Следует отметить, что большая часть исследований кратных волн направлена на разработку методов их подавления. Кратные волны не используются для обработки результатов ультразвуковых исследований в связи со сложностью их выявления в регистрируемых данных физического эксперимента.

За счет применения полноволнового моделирования и анализа пространственных динамических волновых процессов в данной работе кратные волны рассмотрены подробно и предложено деление материалов на три класса, позволяющее использовать кратные волны для получения информации о материале пластины.

Основными результатами работы являются разработанные постановки задачи для численного моделирования исследования пластин конечной толщины лазерным ультразвуком; выявленные особенности волновых явлений, возникающих в пластинах конечной толщины; разработанная методика исследования свойств пластины на основе кратных волн; разработанная классификация материалов.

Результаты исследований, приведенные в настоящей работе, могут быть интересны для разработок не только в области ультразвуковых исследований материалов, но и в области сейсмической разведки земных недр, так как предложенный подход может быть расширен на более сложные случаи гетерогенных сред и применен в геофизике.

Представлена физико-математическая постановка сопряженной геометрической и газодинамической задачи моделирования внутрикамерных процессов и расчета основных внутрибаллистических характеристик ракетных двигателей на твердом топливе в осесимметричном приближении. Изложены основополагающие методики и численный алгоритм решения задачи. Отслеживание горящей поверхности топлива осуществлено неявным образом с помощью метода уровней на декартовой структурированной вычислительной сетке. Для расчета параметров течения использованы двумерные уравнения газовой динамики. Ввиду несогласованности границ области с узлами вычислительной сетки, в численных расчетах учтено наличие фиктивных точек, лежащих вне рассматриваемой области, но рядом с границей. Для задания значений параметров течения в фиктивных точках применена обратная процедура Лакса – Вендроффа, заключающаяся в построении экстраполяционного полинома, который учитывает как текущее распределение параметров, так и условия на границе. Численное решение полученной системы уравнений основано на использовании WENO-схем пятого и третьего порядка для дискретной аппроксимации по пространственной координате уравнений метода уровней и газовой динамики соответственно и применении методов Рунге – Кутты, обладающих свойством уменьшения полной вариации, для решения полученных полудискретных уравнений. Изложенный численный алгоритм распараллелен с использованием технологии CUDA и в дальнейшем оптимизирован с учетом особенностей архитектуры графических процессоров.

Программный комплекс использован при расчетах внутрибаллистических характеристик бессоплового двигателя на твердом топливе в течение основного времени работы. На основе полученных численных результатов обсуждается эффективность распараллеливания с использованием технологии CUDA и применения рассмотренных оптимизаций. Показано, что применяемая методика распараллеливания приводит к значительному ускорению по сравнению с использованием центральных процессоров. Представлены распределения основных параметров течения продуктов сгорания в различные промежутки времени. Произведено сравнение полученных результатов квазиодномерного подхода и разработанной численной методики.

В работе рассматривается применение технологии Message Passing Interface (MPI) для распараллеливания программного алгоритма, основанного на сеточно-характеристическом методе, применительно к численному решению уравнения линейной теории упругости. Данный алгоритм позволяет численно моделировать распространение динамических волновых возмущений в твердых деформируемых телах. К такого рода задачам относится решение прямой задачи распространения сейсмических волн, что представляет интерес в сейсмике и геофизике. Во снове решателя лежит сеточно-характеристический метод. В работе предложен способ уменьшения времени взаимодействия между процессами MPI в течение расчета. Это необходимо для того, чтобы можно было производить моделирование в сложных постановках, при этом сохраняя высокую эффективность параллелизма даже при большом количестве процессов. Решение проблемы эффективного взаимодействия представляет большой интерес, когда в расчете используется несколько расчетных сеток с произвольной геометрией контактов между ними. Сложность данной задачи возрастает, если допускается независимое распределение узлов расчетных сеток между процессами. В работе сформулирован обобщенный подход для обработки контактных условий в терминах переинтерполяции узлов из заданного участка одной сетки в определенную область второй сетки. Предложен эффективный способ распараллеливания и установления эффективных межпроцессорных коммуникаций. Приведены результаты работы реализованного программного кода: получены волновые поля и сейсмограммы как для 2D-, так и для 3D-постановок. Показано, что данный алгоритм может быть реализован в том числе на криволинейных расчетных сетках. Рассмотренные постановки демонстрируют возможность проведения расчета с учетом топографии среды и криволинейных контактов между слоями. Это позволяет получать более точные результаты, чем при расчете только с использованием декартовых сеток. Полученная эффективность распараллеливания — практически 100% вплоть до 4096 процессов (за основу отсчета взята версия, запущенная на 128 процессах). Дале наблюдается ожидаемое постепенное снижение эффективности. Скорость спада не велика, на 16384 процессах удается сохранить 80%-ную эффективность.

Даже беглый взгляд на впечатляющее множество современных работ по математическому моделированию популяционной динамики позволяет заключить, что основной интерес авторов сосредоточен вокруг двух-трех ключевых направлений исследований, связанных с описанием и анализом динамики, либо отдельных структурированных популяций, либо систем однородных популяций, взаимодействующих между собой в экологическом сообществе или (и) в физическом пространстве. В рамках данной работы приводится обзор и систематизируются научные исследования и результаты, полученные на сегодняшний день в ходе развития идей и подходов математического моделирования динамики структурированных и взаимодействующих популяций. В вопросах моделирования динамики численности изолированных популяций описана эволюция научных идей по пути усложнения моделей — от классической модели Мальтуса до современных моделей, учитывающих множество факторов, влияющих на популяционную динамику. В частности, рассматриваются динамические эффекты, к которым приводит учет экологической емкости среды, плотностно-зависимая регуляция, эффект Олли, усложнение возрастной и стадийной структуры. Особое внимание уделяется вопросам мультистабильности популяционной динамики. Кроме того, представлены исследования, в которых анализируется влияние промыслового изъятия на динамику структурированных популяций и возникновение эффекта гидры. Отдельно рассмотрены вопросы возникновения и развития пространственных диссипативных структур в пространственно разобщенных популяциях и сообществах, связанных миграциями. Здесь особое внимание уделяется вопросам частотной и фазовой мультистабильности популяционной динамики, а также возникновению пространственных кластеров. В ходе систематизации и обзора задач, посвященных моделированию динамики взаимодействующих популяций, основное внимание уделяется сообществу «хищник–жертва». Представлены ключевые идеологические подходы, применяемые в современной математической биологии при моделировании систем типа «хищник–жертва», в том числе с учетом структуры сообщества и промыслового изъятия. Кратко освещены вопросы возникновения и сохранения мозаичной структуры в пространственно распределенных и миграционно связанных сообществах.

Разработка структурированных молекулярных систем на основе каркаса из нуклеиновых кислот учитывает способность одноцепочечной ДНК к образованию стабильной двухспиральной структуры за счет стэкинг-взаимодействий и водородных связей комплементарных пар нуклеотидов. Для увеличения стабильности двойной спирали ДНК и расширения температурного диапазона в протоколах гибридизации предложили использовать более стабильные металл-опосредованные комплексы пар нуклеотидов в качестве альтернативы уотсон-криковским водородным связям. Один из наиболее часто рассматриваемых вариантов — использование ионов серебра для стабилизации пары цитозинов из противоположных нитей ДНК. Ионы серебра специфично связываются с атомами N3 цитозинов вдоль оси спирали с образованием, как считается, прочной связи N3–Ag⁺–N3, относительно которой может образоваться два вращательных изомера — цис- и транс-конфигурации Cyt–Ag⁺–Cyt. В работе были проведены теоретическое исследование и сравнительный анализ профиля изменения свободной энергии (ПСЭ) диссоциации двух изомеров Cyt–Ag⁺–Cyt с использованием комбинированного метода молекулярной механики и квантовой химии (КМ/MM). В результате было показано, что цис-конфигурация более выгодна по энергии чем транс- для одиночной пары цитозинов, а геометрия глобального минимума на ПСЭ для обоих изомеров отличается от равновесных геометрий, полученных ранее методами квантовой химии. По-видимому, модель стабилизации ионами серебра дуплекса ДНК должна учитывать не только непосредственное связывание ионов серебра с цитозинами, но и наличие сопутствующих факторов, таких как стэкинг-взаимодействие в протяженной ДНК, межплоскостные водородные связи, а также металлофильное взаимодействие соседних ионов серебра.

В данной работе рассматривается обратная задача сейсморазведки — определение структуры исследуемой среды по зарегистрированному волновому отклику от нее. В качестве целевого объекта рассматриваются крупные трещины, размеры и положение которых необходимо определить.

Для решения прямой задачи используется численное моделирование сеточно-характеристическим методом. Сеточно-характеристический метод позволяет применять физически обоснованные алгоритмы расчета точек на внешних границах области и контактных границах внутри области интегрирования. Трещина принимается тонкой, для описания трещины используется специальное условие на створках трещины.

Обратная задача решается с помощью сверточных нейронных сетей. Входными данными нейронной сети являются сейсмограммы, интерпретируемые как изображения. Выходными данными являются маски, описывающие среду на структурированной сетке. Каждый элемент такой сетки относится к одному из двух классов: либо элемент сплош- ного геологического массива, либо элемент, через который проходит трещина. Такой подход позволяет рассматривать среду, в которой находится неизвестное наперед количество трещин.

Для обучения нейронной сети использовались исключительно примеры с одной трещиной. Для итогового тестирования обученной сети использовались отдельные примеры с несколькими трещинами, эти примеры никак не были задействованы в ходе обучения. Целью тестирования в таких условиях была проверка, что обученная сеть обладает достаточной общностью, распознает в сигнале признаки наличия трещины и при этомне страдает от переобучения на примерах с единственной трещиной в среде.

В работе показано, что сверточная сеть, обученная на примерах с единичной трещиной, может использоваться для обработки данных с множественными трещинами. Хорошо определяются в том числе небольшие трещины на больших глубинах, если они пространственно разнесены друг от друга на расстояние большее, чемдлина сканирующего импульса. В этом случае на сейсмограмме их волновые отклики хорошо различимы и могут быть интерпретированы нейронной сетью. В случае близко расположенных трещин могут возникать артефакты и ошибки интерпретации. Это связано с тем, что на сейсмограмме волновые отклики близких трещин сливаются, из-за чего нейронная сеть интерпретирует несколько рядом расположенных трещин как одну. Отметим, что подобную ошибку, скорее всего, допустил бы и человек при ручной интерпретации данных. В работе приведены примеры некоторых таких артефактов, искажений и ошибок распознавания.

В статье проводится краткий анализ разработанных робастных методов управления, а также исследование практических аспектов их использования для управления экономическими системами с неопределенными параметрами. Рассматриваются особенности использования разработанных методов управления системами при наличии структурированной неопределенности применительно к задачам стабилизации цены на мировом рынке нефти, а также инфляции в макроэкономических системах. В первом случае с использованием специально разработанной модели ставится задача определения такого управления, которое обеспечивает минимальное отклонение цены нефти от желаемого уровня. Во втором случае решается задача формирования стабилизирующего управления, обеспечивающего в среднесрочной перспективе минимальное отклонение инфляции от желаемого уровня (на основе агрегированной макроэкономической модели среднесрочного развития США).

В результате вычислительных экспериментов найдены предельные уровни неопределенности параметров и законы обратной связи, при которых используемый в работе подход обеспечивает стабилизируемость реальных экономических систем. Проведенные расчеты показывают, что полученные оценки предельных уровней неопределенности параметров являются достаточно консервативными. С помощью метода статистических испытаний исследуется динамика цены на нефть, а также показателя инфляции в условиях найденных предельных уровней неопределенности параметров при использовании рассчитанных робастных законов управления, в случае наихудшего и наилучшего сценариев. Полученные результаты показывают, что рассчитанные робастные законы управления могут быть успешно применены и при большей степени неопределенности параметров исследуемых моделей, чем гарантируется при найденных предельных уровнях неопределенности.

В данной работе предлагается и исследуется дискретная по времени математическая модель динамики численности популяции с сезонным характером размножения, позволяющая учесть влияние плотностно-зависимой регуляции и половой структуры на динамику численности животных. При построении модели предполагается, что рождаемость популяции зависит от численности самок. Регуляция роста численности осуществляется путем лимитирования выживаемости молоди, когда с увеличением численности популяции экспоненциально уменьшается выживаемость неполовозрелых особей. Проведено аналитическое и численное исследование предложенной модели. Показано, что когда в популяции выживает более половины самок и самцов, то популяция характеризуется устойчивой динамикой в большей части параметрического пространства при весьма высоком коэффициенте рождаемости. При этом колебания возникают, когда лимитирование выживаемости самок более выражено, чем лимитирование выживаемости самцов. Примечательно, что увеличение интенсивности лимитирования выживаемости самцов может стабилизировать динамику популяции, что особенно ярко проявляется при малой доле новорожденных самок. В результате исследования выявлено, что в зависимости от значений популяционных параметров модель может демонстрировать стабильную, периодическую и нерегулярную динамику. При этом возможно возникновение мультистабильности, когда вариация текущей численности в результате внешних факторов может привести к смене наблюдаемого режима динамики. С целью апробации предложенной структурированной модели предложен подход, позволяющий оценивать демографические параметры реальных популяций на основе их общей численности. Ключевая идея заключается в сведении дискретной во времени двухкомпонентной модели динамики численности лимитированной популяции с половой структурой к уравнению с запаздыванием, зависящему только от общей численности. В этом случае начальная половая структура определяется через общую численность популяции и зависит от демографических параметров популяции. Полученное одномерное уравнение применялось к описанию и оценке популяционных параметров, характеризующих половую структуру популяции конкретных видов, а именно охотничьих видов копытных Еврейской автономной области. Продемонстрировано, что уравнение с запаздыванием от общей численности довольно хорошо описывает реальную динамику копытных, улавливая тенденции изменения численности, и, как результат, вполне может применяться к описанию и анализу их динамики. Полученные в рамках работы точечные оценки располагаются в области биологически содержательных значений параметров и демонстрируют динамику численности популяций, подобную наблюдаемой в природе. Показано, что динамика численности популяций лося, косули и кабарги соответствует стабильному типу. Возникающие ежегодные колебания численности копытных в основном обусловлены влиянием внешних факторов и представляют собой отклонения от состояния равновесия. В целом полученные точечные оценки позволяют анализировать динамику структурированной популяции с сопутствующим краткосрочным прогнозом.