Все выпуски

Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.

Monte Carlo (MC) reinforcement learning suffers from high sample complexity, especially in environments with sparse rewards, large state spaces, and strongly correlated trajectories that reduce the statistical efficiency of return estimation. These well-known limitations often lead to slow convergence and unstable learning dynamics, particularly in settings where only a small fraction of collected trajectories is actually informative for policy improvement. A key challenge is therefore to identify a compact yet diverse subset of episodes that contributes most to the accuracy of value estimates while preserving sufficient exploration of the environment. To address this challenge, we reformulate episode selection as a Quadratic Unconstrained Binary Optimization (QUBO) problem and solve it using quantum-inspired sampling techniques. Our method, MC+ QUBO, inserts a combinatorial filtering step into the standard MC policy-evaluation pipeline: given a batch of trajectories, it selects a subset that maximizes cumulative reward and encourages broad state-space coverage. This selection procedure is expressed as a QUBO model, where linear terms favor high-return episodes, quadratic terms penalize redundancy between trajectories, and additional coupling terms can be used to enforce coverage-related constraints or promote structural diversity. Within this framework, we investigate two black-box QUBO solvers: Simulated Quantum Annealing (SQA), which emulates tunneling-based exploration of the search landscape, and Simulated Bifurcation (SB), a dynamical-systems-based iterative optimization method. Both solvers demonstrate the ability to efficiently navigate the combinatorial structure of the trajectory-selection problem and to handle batch sizes that are otherwise computationally expensive for exhaustive or deterministic search. Experiments in a finite-horizon GridWorld environment show that MC+QUBO consistently outperforms vanilla MC in convergence speed, stability of return estimates, and final policy quality. These results highlight the promise of quantum-inspired optimization as a practical decision-making subroutine within reinforcement-learning algorithms, offering a scalable way to improve sample efficiency without modifying the underlying learning paradigm.

Для квантового описания поведения двуядерных систем на начальной стадии околобарьерного слияния тяжелых ядер использованы численные методы нахождения коллективных и одночастичных состояний. Коллективные возбужденные состояния в таких системах представляют собой согласованные колебания поверхностей сферических ядер. Одночастичные состояния внешних нейтронов аналогичны состояниям валентных электронов двухатомных молекул.

Numerical methods of obtaining collective and one-particle states were used for the quantum description of two-nuclear systems behavior at the initial stage of near-barrier heavy nuclei fusion. The collective exited states in such systems represent concordant oscillations of surfaces of spherical nuclei. The one-particle states of the external neutrons are similar to the states of valence electrons of diatomic molecules.

Лиганд-защищенные металлические нанокластеры (НК) в последнее время привлекают значительный интерес исследователей со всего мира в силу своих уникальных физико-химических свойств и возможности широкого применения в науке о материалах. НК благородных металлов, защищенные тиолятами, интересны в том числе своей долгосрочной стабильностью. Детальная структура большинства металлических НК, стабилизированных лигандами, неизвестна из-за отсутствия данных рентгеноструктурного анализа. Теоретические расчеты с использованием подходов квантовой химии являются в этой связи перспективным способом определения структуры и электронных свойств НК. Так, поиск теоретического метода, не требующего больших вычислительных затрат и достаточно корректно предсказывающего структуру и электронные спектры поглощения НК, представляется важной задачей. В данной работе мы сравниваем эффективность различных теоретических методов оптимизации геометрии и расчета спектров поглощения для комплексов серебра с тиолятами. Мы показали, что оптимизация геометрии тиолят-защищенных НК с помощью метода теории возмущений Меллера–Плессе второго порядка согласуется с данными метода RI-CC2. Кроме того, мы сравнили спектры поглощения комплексов, полученных различными методами: EOM-CCSD, RI-CC2, ADC(2) и TDDFT. Показано, что спектры поглощения, рассчитанные с использованием ab initio метода ADC(2), согласуются со спектрами, полученными с помощью методов ЕОМ-CCSD и RI-CC2. Функционал CAM-B3LYP плохо воспроизводит спектры поглощения комплексов серебра с тиолятами. Тем не менее спектры, полученные с помощью глобального гибридного мета-GGA функционала M062X, достаточно хорошо согласуются с результатами, полученными методами ADC(2), ЕОМ-CCSD и RI-CC2. TDDFT расчет электронного спектра поглощения с помощью функционала M062X представляется хорошим компромиссом из-за своих низких вычислительных затрат. В нашей предыдущей работе мы уже показали, что функционал M062X хорошо воспроизводит ADC(2) ab initio расчетные спектры поглощения, полученные для комплексов серебряных наноксластеров с азотистыми основаниями ДНК.

Ligand protected metal nanoclusters (NCs) have gained much attention due to their unique physicochemical properties and potential applications in material science. Noble metal NCs protected with thiolate ligands have been of interest because of their long-term stability. The detailed structures of most of the ligandstabilized metal NCs remain unknown due to the absence of crystal structure data for them. Theoretical calculations using quantum chemistry techniques appear as one of the most promising tools for determining the structure and electronic properties of NCs. That is why finding a cost-effective strategy for calculations is such an important and challenging task. In this work, we compare the performance of different theoretical methods of geometry optimization and absorption spectra calculation for silver-thiolate complexes. We show that second order Moller–Plesset perturbation theory reproduces nicely the geometries obtained at a higher level of theory, in particular, with RI-CC2 method. We compare the absorption spectra of silver-thiolate complexes simulated with different methods: EOM-CCSD, RI-CC2, ADC(2) and TDDFT. We show that the absorption spectra calculated with the ADC(2) method are consistent with the spectra obtained with the EOM-CCSD and RI-CC2 methods. CAM-B3LYP functional fails to reproduce the absorption spectra of the silver-thiolate complexes. However, M062X global hybrid meta-GGA functional seems to be a nice compromise regarding its low computational costs. In our previous study, we have already demonstrated that M062X functional shows good accuracy as compared to ADC(2) ab initio method predicting the excitation spectra of silver nanocluster complexes with nucleobases.

Выполнен численный расчет структур и колебательных спектров малых структурных фрагментов воды на основе решения молекулярного уравнения Шредингера в рамках теории функционала плотности с гибридными функционалами B3LYP, X3LYP. Обсуждаются спектральные особенности и эволюция свойств водородных связей в кластерах с увеличением размера. Определены характеристики колебательно-вращательных гамильтонианов и ангармонические резонансы Ферми и Дарлинга-Деннисона в малых водных ассоциатах. Полученные результаты могут быть использованы для расчетов воды и процессов в активных центрах ферментов, протекающих при участии молекул воды, комбинированными методами квантовой химии и молекулярной динамики.

Numerical calculations of structures and vibrational spectra of small water clusters are performed by solution of the molecular Schrodinger equation in the density functional theory framework using B3LYP and X3LYP hybrid functionals. Spectral features and evolution of hydrogen bond properties in clusters with their size increasing are discussed. The vibrotational Hamiltonian parameters and Fermi and Darling-Dennison anharmonic resonances in small water oligomers are determined. Obtained results may be used in quantum mechanics/molecular dynamics simulations of water and processes in active site of enzyme.

Перенос заряда в ДНК моделируется с помощью дискретной модели Холстейна «квантовая частица + классическая цепочка сайтов + взаимодействие». Влияние температуры термостата учитывается с помощью случайной силы, действующей на классические сайты (уравнение Ланжевена). Таким образом, динамика распространения заряда вдоль цепочки описывается системой ОДУ со случайной правой частью. Для интегрирования таких систем обычно применяют алгоритмы 1 или 2 порядка. Мы разработали смешанный алгоритм, имеющий 4 порядок точности по быстрым «квантовым» переменным (заметим, что в «квантовой» подсистеме должно соблюдаться условие: «сумма вероятностей нахождения заряда на сайте постоянна по времени») и 2 порядок по медленным «классическим» переменным, на которые действует случайная сила. Алгоритм позволяет считать на бóльших временах, чем стандартные. В качестве примера приведен модельный расчет развала полярона в однородной цепочке под действием температурных флуктуаций.

Charge transfer in DNA is simulated by a discrete Holstein model «quantum particle + classical site chain + interaction». Thermostat temperature is taken into account as stochastic force, which acts on classical sites (Langevin equation). Thus dynamics of charge migration along the chain is described by ODE system with stochastic right-hand side. To integrate the system numerically, algorithms of order 1 or 2 are usually applied. We developed «mixed» algorithm having 4th order of accuracy for fast «quantum» variables (note that in quantum subsystem the condition «sum of probabilities of charge being on site is time-constant» must be held), and 2nd order for slow classical variables, which are affecting by stochastic force. The algorithm allows us to calculate trajectories on longer time intervals as compared to standard algorithms. Model calculations of polaron disruption in homogeneous chain caused by temperature fluctuations are given as an example.

Разработка структурированных молекулярных систем на основе каркаса из нуклеиновых кислот учитывает способность одноцепочечной ДНК к образованию стабильной двухспиральной структуры за счет стэкинг-взаимодействий и водородных связей комплементарных пар нуклеотидов. Для увеличения стабильности двойной спирали ДНК и расширения температурного диапазона в протоколах гибридизации предложили использовать более стабильные металл-опосредованные комплексы пар нуклеотидов в качестве альтернативы уотсон-криковским водородным связям. Один из наиболее часто рассматриваемых вариантов — использование ионов серебра для стабилизации пары цитозинов из противоположных нитей ДНК. Ионы серебра специфично связываются с атомами N3 цитозинов вдоль оси спирали с образованием, как считается, прочной связи N3–Ag⁺–N3, относительно которой может образоваться два вращательных изомера — цис- и транс-конфигурации Cyt–Ag⁺–Cyt. В работе были проведены теоретическое исследование и сравнительный анализ профиля изменения свободной энергии (ПСЭ) диссоциации двух изомеров Cyt–Ag⁺–Cyt с использованием комбинированного метода молекулярной механики и квантовой химии (КМ/MM). В результате было показано, что цис-конфигурация более выгодна по энергии чем транс- для одиночной пары цитозинов, а геометрия глобального минимума на ПСЭ для обоих изомеров отличается от равновесных геометрий, полученных ранее методами квантовой химии. По-видимому, модель стабилизации ионами серебра дуплекса ДНК должна учитывать не только непосредственное связывание ионов серебра с цитозинами, но и наличие сопутствующих факторов, таких как стэкинг-взаимодействие в протяженной ДНК, межплоскостные водородные связи, а также металлофильное взаимодействие соседних ионов серебра.

The development of structured molecular systems based on a nucleic acid framework takes into account the ability of single-stranded DNA to form a stable double-stranded structure due to stacking interactions and hydrogen bonds of complementary pairs of nucleotides. To increase the stability of the DNA double helix and to expand the temperature range in the hybridization protocols, it was proposed to use more stable metal-mediated complexes of nucleotide pairs as an alternative to Watson-Crick hydrogen bonds. One of the most frequently considered options is the use of silver ions to stabilize a pair of cytosines from opposite DNA strands. Silver ions specifically bind to N3 cytosines along the helix axis to form, as is believed, a strong N3–Ag⁺–N3 bond, relative to which, two rotational isomers, the cis- and trans-configurations of C–Ag⁺–C can be formed. In present work, a theoretical study and a comparative analysis of the free energy profile of the dissociation of two С–Ag⁺–C isomers were carried out using the combined method of molecular mechanics and quantum chemistry (QM/MM). As a result, it was shown that the cis-configuration is more favorable in energy than the trans- for a single pair of cytosines, and the geometry of the global minimum at free energy profile for both isomers differs from the equilibrium geometries obtained previously by quantum chemistry methods. Apparently, the silver ion stabilization model of the DNA duplex should take into account not only the direct binding of silver ions to cytosines, but also the presence of related factors, such as stacking interaction in extended DNA, interplanar hydrogen bonds, and metallophilic interaction of neighboring silver ions.

Большинство биологических задач находятся в области температур, где квантовые и классические эффекты равноценны или в классической области, где квантовые эффекты проступают как незначительные добавки или модуляции. Степень проявления квантового и классического режимов рассмотрена в работе на примере одной из важнейших задач биологической активности молекул - задачи о переходах частиц через барьеры. Подходя к задаче о переходе частицы через нестационарный барьер (с параметрами, характерными для биологических проблем) с различных позиций (квантовой и классической), мы получили одинаковый результат: динамика частицы характеризуется релаксацией за время, сравнимое с диффузионным.

The most part of biological tasks coincide with temperature areas, where quantum and classical effects are equivalent, or the classical one is dominating. The extent of influence of quantum or classical effect was considered in the work in application to one of the most significant problems of biological activity: particle transition through non-stationary barriers. It is interesting that the results obtained using different approaches, quantum and classical, are the same. It seems that the particle dynamics is characterized by non-coherent relaxation with rate of diffusion.

Методом квантово-химического моделирования исследован возможный конформационный переход в локальном окружении первичного хинона в фотосинтетическом реакционном центре (РЦ) бактерии Rhodobacter sphaeroides, сопровождающий процесс переноса электрона. Исходя из представления о наличии двух устойчивых конформационных состояний РЦ, предложена кинетическая модель, хорошо описывающая экспериментальные температурные зависимости скорости реакции рекомбинации P⁺Q_A^- → PQ_A. Результаты квантово-химического моделирования сайта связывания первичного хинона позволяют предложить на роль указанного конформационного изменения небольшое смещение кольца убихинона, приводящее к разрыву водородной связи, образуемой 4–C=O группой убихинона с гистидином M²¹⁹, и образованию новой водородной связи с гидроксильной группой треонина M²²². Значения параметров модели, полученные с помощью квантово-химических расчетов, качественно согласуются со значениями параметров кинетической модели, используемых для описания реакции рекомбинации.

A possible conformational change, which accompanies electron tranport in Rb. sphaeroides photosynthetic reaction center (RC), was studied using quantum-chemical approach. A kinetic model which takes into account two conformational states of RC is proposed. The model quantitatively describes experimental temperature dependencies of recombination reaction rate P⁺Q_A^- → PQ_A. Quantum-chemical modeling of primary quinone (Q_A) binding site permits one to propose a minor shift of Q_A as a conformational change of interest. The shift is accompanied by break of a hydrogen bond between 4–C=O group of Q_A and histidine M²¹⁹, and formation of a new hydrogen bond between Q_A and hydroxyl group of threonine M²²². Characteristics of this conformational change were obtained from quantum-chemical calculations and match parameters of kinetic model in qualitative fashion.

С помощью комплекса биофизических и математических методов исследовано влияние ионов меди на первичные процессы фотосинтеза пресноводной микроводоросли Scenedesmus quadricauda. Проведена оценка воздействия меди (0,1–10 мкМ CuSO₄) по индукционным кривым флуоресценции хлорофилла a, полученным как на суспензии клеток, так и на отдельных клетках водорослей после инкубации в световых и темных условиях. Установлено, что медь оказывает дозозависимое воздействие на фотосинтетический аппарат микроводорослей. Низкие (0,1 мкМ) концентрации CuSO₄ по ряду параметров оказывают стимулирующие воздействие, тогда как концентрация 10 мкМ приводила к существенным нарушениям функционирования фотосистемы II. Анализ флуоресценции одиночных клеток оказался более чувствительным по сравнению с традиционными измерениями на суспензиях, позволив выявить гетерогенность реакции клеток на действие CuSO₄. Анализ кинетики быстрой флуоресценции хлорофилла a (JIP-тест) показал, что наибольшую чувствительность к воздействию меди проявили параметры $\delta_{Ro}$ и $\varphi_{Ro}$, которые достоверно отличались от контроля при воздействии не только высокой, но и средней концентрации (1 мкМ). При инкубации с CuSO₄ в световых условиях снижение фотохимической активности клеток было менее выражено, чем в условиях темновой инкубации. Нормирование данных по интенсивности начальной и максимальной флуоресценции на оптическую плотность суспензии при $\lambda = 455$ нм значительно повысило чувствительность метода и позволило более точно интерпретировать эти данные. Использование L₁-регуляризации (LASSO) по методу наименьших углов (LARS) для спектральной мультиэкспоненциальной аппроксимации индукционной кривой позволило выявить ее временные характеристики. Результаты математической обработки полученных данных дают основание предположить, что действие ионов меди приводит к увеличению нефотохимического тушения флуоресценции, являющегося защитным механизмом рассеивания избыточной энергии возбуждения. Наблюдаемая гетерогенность реакций отдельных клеток водорослей на воздействие меди, по-видимому, является важным адаптационным механизмом, позволяющим популяции сохранять жизнеспособность в условиях стресса. Полученные данные подтверждают перспективность использования методов флуоресцентного анализа для ранней диагностики стрессовых воздействий тяжелых металлов на фотосинтезирующие организмы.

The effect of copper ions on the primary processes of photosynthesis in freshwater microalgae Scenedesmus quadricauda was studied using a set of biophysical and mathematical methods. Chlorophyll a fluorescence transients were recorded both in cell suspensions and at the level of single cells after incubation at copper concentrations of 0.1–10 $\mu$M under light and dark conditions. It was found that copper has a dose-dependent effect on the photosynthetic apparatus of microalgae. At low copper concentration (0.1 $\mu$M), a stimulating effect on a number of studied parameters was observed, whereas significant disruption of Photosystem II activity was detected at 10 $\mu$M. The method of analyzing fluorescence of single cells proved to be more sensitive compared to traditional suspension measurements, allowing the detection of heterogeneous cellular responses to the toxicant. Analysis of chlorophyll a fast fluorescence kinetics showed that the JIP-test parameters $\delta_{Ro}$ and $\varphi_{Ro}$ were the most sensitive to copper exposure and were significantly different from the control when exposed not only to high but also to medium (1 $\mu$M) copper concentrations. The decrease in photochemical activity of cells during light incubation was less pronounced compared to dark conditions. The application of data normalization to optical density at $\lambda = 455$ nm significantly increased the sensitivity of the method and accuracy of result interpretation. The use of L₁-regularization (LASSO) by the least angles method (LARS) for the spectral multi-exponential approximation of the fluorescence transients allowed us to reveal their temporal characteristics. Mathematical analysis of the obtained data suggested that copper exposure leads to increased non-photochemical quenching of fluorescence, which serves as a protective mechanism for dissipating excess excitation energy. The revealed heterogeneity of cellular responses to copper action may have important ecological significance, ensuring the survival of part of the population under stress conditions. The obtained data confirm the promise of using fluorescent analysis methods for early diagnosis of heavy metal stress effects on photosynthesizing organisms.

В данной работе при помощи методов молекулярной динамики и квантовой химии изучается механизм инициирования альфа-спирализации пептидных последовательностей. Показано, что ключевой вклад в запуск этого процесса вносят кислые аминокислотные остатки, расположенные на N-конце пептидной цепи. Полученные результаты не противоречат известным экспериментальным и статистическим данным и существенно дополняют имеющиеся в настоящее время представления о процессах, происходящих на ранних стадиях сворачивания пептидов и белков.

In present work we used the methods of molecular dynamics simulations and quantum chemistry to study the concept, according to which aspartic and glutamic residues play a key role in initiation of helix formation in oligopeptides. It has been shown, that the first turn of the alpha-helix can be organized from various amino acid sequences with Asp and Glu residues on the N-terminus. Thermodynamic properties of such a process were analyzed. The obtained results do not interfere with known experimental and statistical data and they substantially elaborate present views on the processes of early peptide folding stages.