Все выпуски

Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.

Квадратичная неограниченная бинарная оптимизация (QUBO) зарекомендовала себя в качестве эффективного инструмента для решения NP-трудных задач в области информационной безопасности. В QUBO-формулировке задача описывается в виде квадратичной функции бинарных переменных, минимум которой соответствует оптимальному решению. Такая запись учитывает линейные (индивидуальное влияние) и квадратичные (парные взаимодействия) зависимости. Особенно примечательно, что QUBO-алгоритмы можно имплементировать в квантовые вычислительные устройства на основе отжига, например D-Wave, которые позволяют найти собственное состояние гамильтониана соответствующей модели Изинга посредством квантовых или гибридных алгоритмов. При этом решение QUBO-задачи можно получить и на полностью классической архитектуре. Такие алгоритмы называют квантово вдохновленными, потому что они имитируют физические явления. Примером таких квантово вдохновленных алгоритмов являются симулированный отжиг (Simulated Annealing, SA) и симулированные бифуркации (Simulated Bifurcation, SB). За последние 5–7 лет большое количество работ было посвящено применению QUBO-формулировки для разнообразных задач информационной безопасности, начиная от взлома ключей безопасности до детекции атак, с целью доказать эффективность новых вычислительных парадигм. В данном исследовании мы анализируем эти работы, сгруппировав их по области применения и выделяя архитектурные подходы (квантовая, гибридная, классическая) в каждом сценарии. Мы уделяем внимание тому, как задача была переформулирована в QUBO-постановку или модель Изинга, анализируем ключевые стратегии решения и полученные результаты на оптимальность, масштабируемость, сложность. Мы выделяем основные преимущества и недостатки каждой QUBO-постановки в контексте информационной безопасности и в заключение обсуждаем актуальные задачи и перспективные направления для исследований.

В настоящее время основная исследовательская деятельность в области нанотехнологий направлена на создание, изучение и применение новых материалов и новых структур. Большое внимание в последнее время привлекает возможность управления магнитными свойствами с помощью сверхпроводящего тока, а также влияние магнитной динамики на вольт-амперные характеристики гибридных наноструктур типа «сверхпроводник/ферромагнетик» (S/F). В частности, к таким структурам относятся джозефсоновский S/F/S-переход или молекулярные наномагниты, связанные с джозефсоновскими переходами. Теоретические исследования динамики подобных структур неизменно приводят к моделям, расчет которых требует численного решения большого количества нелинейных уравнений. Численное моделирование гибридных наноструктур «сверхпроводник/магнетик» подразумевает расчет как магнитной динамики, так и динамики сверхпроводящей фазы, что многократно увеличивает их комплексность и масштабность, поэтому возникает задача решения сложных систем нелинейных дифференциальных уравнений, что требует значительных временных и вычислительных ресурсов.

На сегодняшний день активно развиваются алгоритмы и фреймворки для моделирования динамики намагничивания в различных структурах. Однако функционал существующих пакетов не позволяет в полной мере реализовать нужную схему вычислений.

Целью настоящей работы является разработка единой вычислительной среды для моделирования гибридных наноструктур «сверхпроводник/магнетик», предоставляющей доступ к решателям и разработанным алгоритмам, позволяющей проводить исследования сверхпроводящих элементов в наноразмерных структурах с магнетиками и гибридных квантовых материалов. В работе представлены результаты использования разрабатываемой вычислительной среды по исследованию резонансных явлений в системе наномагнита, связанного с джозефсоновским переходом. Для исследования возможности переориентации намагниченности в зависимости от параметров модели численно решалась задача Коши для системы нелинейных уравнений. Непосредственно сама вычислительная среда разрабатывалась и развернута на базе гетерогенной вычислительной платформы HybriLIT. Проведенное в рамках вычислительной среды исследование показало эффективность применения развернутого стека технологий и перспективность его использования в дальнейшем для оценки физических параметров в гибридных наноструктурах «сверхпроводник/магнетик».