Все выпуски

Deep learning’s power stems from complex architectures; however, these can lead to overfitting, where models memorize training data and fail to generalize to unseen examples. This paper proposes a novel probabilistic approach to mitigate this issue. We introduce two key elements: Truncated Log-Uniform Prior and Truncated Log-Normal Variational Approximation, and Automatic Relevance Determination (ARD) with Bayesian Deep Neural Networks (BDNNs). Within the probabilistic framework, we employ a specially designed truncated log-uniform prior for noise. This prior acts as a regularizer, guiding the learning process towards simpler solutions and reducing overfitting. Additionally, a truncated log-normal variational approximation is used for efficient handling of the complex probability distributions inherent in deep learning models. ARD automatically identifies and removes irrelevant features or weights within a model. By integrating ARD with BDNNs, where weights have a probability distribution, we achieve a variational bound similar to the popular variational dropout technique. Dropout randomly drops neurons during training, encouraging the model not to rely heavily on any single feature. Our approach with ARD achieves similar benefits without the randomness of dropout, potentially leading to more stable training.

To evaluate our approach, we have tested the model on two datasets: the Canadian Institute For Advanced Research (CIFAR-10) for image classification and a dataset of Macroscopic Images of Wood, which is compiled from multiple macroscopic images of wood datasets. Our method is applied to established architectures like Visual Geometry Group (VGG) and Residual Network (ResNet). The results demonstrate significant improvements. The model reduced overfitting while maintaining, or even improving, the accuracy of the network’s predictions on classification tasks. This validates the effectiveness of our approach in enhancing the performance and generalization capabilities of deep learning models.

Deep learning’s power stems from complex architectures; however, these can lead to overfitting, where models memorize training data and fail to generalize to unseen examples. This paper proposes a novel probabilistic approach to mitigate this issue. We introduce two key elements: Truncated Log-Uniform Prior and Truncated Log-Normal Variational Approximation, and Automatic Relevance Determination (ARD) with Bayesian Deep Neural Networks (BDNNs). Within the probabilistic framework, we employ a specially designed truncated log-uniform prior for noise. This prior acts as a regularizer, guiding the learning process towards simpler solutions and reducing overfitting. Additionally, a truncated log-normal variational approximation is used for efficient handling of the complex probability distributions inherent in deep learning models. ARD automatically identifies and removes irrelevant features or weights within a model. By integrating ARD with BDNNs, where weights have a probability distribution, we achieve a variational bound similar to the popular variational dropout technique. Dropout randomly drops neurons during training, encouraging the model not to rely heavily on any single feature. Our approach with ARD achieves similar benefits without the randomness of dropout, potentially leading to more stable training.

To evaluate our approach, we have tested the model on two datasets: the Canadian Institute For Advanced Research (CIFAR-10) for image classification and a dataset of Macroscopic Images of Wood, which is compiled from multiple macroscopic images of wood datasets. Our method is applied to established architectures like Visual Geometry Group (VGG) and Residual Network (ResNet). The results demonstrate significant improvements. The model reduced overfitting while maintaining, or even improving, the accuracy of the network’s predictions on classification tasks. This validates the effectiveness of our approach in enhancing the performance and generalization capabilities of deep learning models.

В работе построена и исследуется обобщенная модель, описывающая двухкомпонентные системы реакционно-диффузионного типа со степенной нелинейностью и учитывающая влияние внешних шумов. Для анализа обобщенной модели разработана методология, включающая в себя линейный анализ устойчивости, нелинейный анализ устойчивости и численное моделирование эволюции системы. Методика проведения линейного анализа опирается на базовые подходы, в которых для получения характеристического уравнения используется матрица линеаризации. Нелинейный анализ устойчивости проводится с точностью до моментов третьего порядка включительно. Для этого функции, описывающие динамику компонент, раскладываются в ряд Тейлора до слагаемых третьего порядка. Затем с помощью теоремы Новикова проводится процедура усреднения. В результате полученные уравнения образуют бесконечную иерархично подчиненную структуру, которую в определенный момент необходимо прервать. Для этого пренебрегаем вкладом слагаемых выше третьего порядка как в самих уравнениях, так и при построении уравнений моментов. Полученные уравнения образуют набор линейных уравнений, из которых формируется матрица устойчивости. Эта матрица имеет довольно сложную структуру, в связи с чем ее решение может быть получено только численно. Для проведения численного исследования эволюции системы выбран метод переменных направлений. Из-за наличия в анализируемой системе стохастической части метод был модифицирован таким образом, что на целых слоях проводится генерация случайных полей с заданным распределением и функцией корреляции, отвечающих за шумовой вклад в общую нелинейность. Апробация разработанной методологии проведена на предложенной Barrio et al. модели реакции – диффузии, по результатам исследования которой им показана схожесть получаемых структур с пигментацией рыб. В настоящей работе внимание сосредоточено на анализе поведения системы в окрестности ненулевой стационарной точки. Изучена зависимость действительной части собственных значений от волнового числа. В линейном анализе получена область значений волновых чисел, при которых возникает неустойчивость Тьюринга. Нелинейный анализ и численное моделирование эволюции системы проводятся для параметров модели, которые, напротив, находятся вне области неустойчивости Тьюринга. В рамках нелинейного анализа найдены интенсивности аддитивного шума, при которых, несмотря на отсутствие условий для возникновения диффузионной неустойчивости, система переходит в неустойчивое состояние. Результаты численного моделирования эволюции апробируемой модели демонстрируют процесс образования пространственных структур тьюрингового типа при воздействии на нее аддитивного шума.

The paper constructs and studies a generalized model describing two-component systems of reaction – diffusion type with power nonlinearity, considering the influence of external noise. A methodology has been developed for analyzing the generalized model, which includes linear stability analysis, nonlinear stability analysis, and numerical simulation of the system’s evolution. The linear analysis technique uses basic approaches, in which the characteristic equation is obtained using a linearization matrix. Nonlinear stability analysis realized up to third-order moments inclusively. For this, the functions describing the dynamics of the components are expanded in Taylor series up to third-order terms. Then, using the Novikov theorem, the averaging procedure is carried out. As a result, the obtained equations form an infinite hierarchically subordinate structure, which must be truncated at some point. To achieve this, contributions from terms higher than the third order are neglected in both the equations themselves and during the construction of the moment equations. The resulting equations form a set of linear equations, from which the stability matrix is constructed. This matrix has a rather complex structure, making it solvable only numerically. For the numerical study of the system’s evolution, the method of variable directions was chosen. Due to the presence of a stochastic component in the analyzed system, the method was modified such that random fields with a specified distribution and correlation function, responsible for the noise contribution to the overall nonlinearity, are generated across entire layers. The developed methodology was tested on the reaction – diffusion model proposed by Barrio et al., according to the results of the study, they showed the similarity of the obtained structures with the pigmentation of fish. This paper focuses on the system behavior analysis in the neighborhood of a non-zero stationary point. The dependence of the real part of the eigenvalues on the wavenumber has been examined. In the linear analysis, a range of wavenumber values is identified in which Turing instability occurs. Nonlinear analysis and numerical simulation of the system’s evolution are conducted for model parameters that, in contrast, lie outside the Turing instability region. Nonlinear analysis found noise intensities of additive noise for which, despite the absence of conditions for the emergence of diffusion instability, the system transitions to an unstable state. The results of the numerical simulation of the evolution of the tested model demonstrate the process of forming spatial structures of Turing type under the influence of additive noise.

В данной работе исследуется влияние пространственного разрешения дискретизированного (решеточного) представления рабочего пространства на эффективность и корректность поиска оптимального пути в сложных условиях. Рассматриваются сценарии, характеризующиеся возможным наличием узких проходов, неоднородным распределением препятствий и зонами повышенных требований к безопасности в непосредственной окрестности от препятствий. Несмотря на широкое применение решеточных представлений рабочего пространства в робототехнике благодаря их совместимости с сенсорными данными и поддержке классических алгоритмов планирования траекторий, разрешение этих решеток оказывает существенное влияние как на достижимость цели, так и на показатели оптимального пути. Предлагается алгоритм, сочетающий анализ связности пространства, оптимизацию траектории и геометрическое уточнение безопасности. На первом этапе с помощью обобщения алгоритма Лиса (Leath) оценивается достижимость целевой точки путем выявления связной компоненты, содержащей стартовую позицию. При подтверждении достижимости целевой точки на втором этапе алгоритм A* применяется к узлам данной компоненты для построения пути, минимизирующего одновременно как длину пути, так и риск столкновения. На третьем этапе для узлов, расположенных в зонах безопасности, осуществляется уточненная оценка расстояния до препятствий с помощью комбинации алгоритмов Гилберта – Джонсона – Кирти (GJK) и расширяющегося многогранника (EPA). Экспериментальный анализ позволил выявить нелинейную зависимость вероятности существования и эффективности оптимального пути от параметров решетки. В частности, снижение пространственного разрешения решетки повышает вероятность потери связности и недостижимости цели, а увеличение ее пространственного разрешения влечет рост вычислительной сложности без пропорционального улучшения характеристик оптимального пути.

This paper examines the impact of the spatial resolution of a discretized (lattice) representation of the environment on the efficiency and correctness of optimal pathfinding in complex environments. Scenarios are considered that may include bottlenecks, non-uniform obstacle distributions, and areas of increased safety requirements in the immediate vicinity of obstacles. Despite the widespread use of lattice representations of the environment in robotics due to their compatibility with sensor data and support for classical trajectory planning algorithms, the resolution of these lattices has a significant impact on both goal reachability and optimal path performance. An algorithm is proposed that combines environmental connectivity analysis, trajectory optimization, and geometric safety refinement. In the first stage, the Leath algorithm is used to estimate the reachability of the target point by identifying a connected component containing the starting position. Upon confirmation of the target point’s reachability, the A* algorithm is applied to the nodes of this component in the second stage to construct a path that simultaneously minimizes both the path length and the risk of collision. In the third stage, a refined obstacle distance estimate is performed for nodes located in safety zones using a combination of the Gilbert – Johnson –Keerthi (GJK) and expanding polyhedron (EPA) algorithms. Experimental analysis revealed a nonlinear relationship between the probability of the existence and effectiveness of an optimal path and the lattice parameters. Specifically, reducing the spatial resolution of the lattice increases the likelihood of connectivity loss and target unreachability, while increasing its spatial resolution increases computational complexity without a proportional improvement in the optimal path’s performance.

В работе представлена каскадная модель нейронной сети с физической поддержкой, предназначенная для прогнозирования перепада давления при трехфазном течении (нефть, газ, вода) в прямом участке трубы с различными углами наклона. Для преодоления ограничений существующих эмпирических корреляций и вычислительно затратных методов численного моделирования предложена архитектура, декомпозирующая задачу на три последовательные физически интерпретируемые подзадачи: регрессионное прогнозирование коэффициента удержания жидкости, классификация режима течения и непосредственный расчет градиента давления. Каждая подзадача решается отдельной полносвязной нейронной сетью, выход которой передается следующей модели в каскаде. Обучение и тестирование предложенной модели проведены на обширном синтетическом наборе данных (8·10⁷ записей), сгенерированном с использованием полуэмпирической модели. Верификация выполнена на независимых экспериментальных данных. Проведен сравнительный анализ с единой полносвязной (не каскадной) нейронной сетью и исследована чувствительность моделей методами Соболя и Боргоново. Каскадная модель продемонстрировала превосходство по точности и обеспечила высокую интерпретируемость результатов за счет получения промежуточных физических параметров (коэффициента удержания жидкости, режима течения). Разработанная модель обладает низкой вычислительной сложностью, что позволяет использовать ее в системах реального времени и цифровых двойниках гидравлических систем нефтегазовой промышленности.

The paper presents a cascade model of a physically supported neural network designed to predict pressure drop in three-phase flow (oil, gas, water) in a pipe section with various angles of inclination. To overcome the constraints of existing empirical correlations and computation-intensive numerical modeling methods, we propose an architecture that decomposes the problem into three sequential physically interpretable subtasks: regression prediction of the fluid hold-up coefficient, fluid flow regime classification, and pressure gradient evaluation. Each subtask is solved by a separate fully connected neural network, the output of which is passed to the next model in the cascade. Training and testing of the proposed architecture was performed on an extensive synthetic dataset (8 · 10⁷ records) generated using a semi-empirical model. Verification is performed on independent experimental data. A comparative analysis with a single fully connected (non-cascade) neural network is made, and the sensitivity of the models is examined using Sobol and Borgonovo methods. The cascade model demonstrates superior accuracy and ensures high interpretability of results by providing intermediate physical parameters (fluid hold-up coefficient, flow regime). The developed model has low computational complexity, which allows it to be used in real-time systems and digital twins of hydraulic systems in the oil and gas industry.

В работе решается задача обнаружения малоразмерных объектов на аэрофотоснимках в видимом спектре. Высокая вариативность фона и слабая выраженность признаков делают детекцию малоразмерных объектов нетривиальной задачей. В таких условиях низкая эффективность классических методов компьютерного зрения на основе дескрипторов стимулирует переход к архитектурам на основе глубоких нейронных сетей, которые демонстрируют большую обобщающую способность и устойчивость к ложным срабатываниям. В качестве метода поиска объектов на изображении был выбран одноэтапный подход на базе нейросетевой предиктивной модели. Проведен анализ нейросетевых архитектур, относящихся к данному классу, приведены их достоинства и недостатки. В качестве базовой архитектуры детектора была взята YOLO версии 11 с добавлением блока многомасштабной агрегации признаков (используется для объединения информации, полученной из слоев искусственной нейронной сети с разными масштабами) и блока селективной интеграции с учетом размерности (блок автоматически определяет, по какому измерению (канал, высота, ширина) обрабатывать данные, и выборочно объединяет их). Данные модификации направлены как на повышение вычислительной эффективности и возможности развертывания нейросетевых моделей на борту беспилотных летательных аппаратов для анализа изображений в режиме реального времени, так и для улучшения точности детекции объектов малых размеров. Учитывая сложность аннотации изображений, для обучения и тестирования (в соотношении 90/10% соответственно) использовалась открытая синтетическая база изображений, содержащая порядка 4000 изображений. Обучающая выборка была расширена путем различных случайных аугментаций. Для оценки качества полученных предиктивных моделей использовалось среднее значение точности по всем классам как с порогом 50% пересечения с экспертной разметкой, так и с варьируемым порогом 50–95%. Переобучение контролировалось при помощи анализа кривых потерь. Предложенные модификации архитектуры YOLO позволили уменьшить время обработки изображений в два раза при сохранении точности распознавания.

This paper addresses the problem of detecting small objects in visible-spectrum aerial imagery. High background variability and weak feature saliency make small object detection a non-trivial task. Under such conditions, classical computer vision algorithms based on hand-crafted descriptors exhibit low efficiency, prompting a shift towards deep neural network architectures, which demonstrate superior generalization capability and robustness to false positives. We selected a one-stage approach based on a neural network predictive model as the primary object detection method. Also, several neural network architectures belonging to this class were analyzed, outlining their advantages and disadvantages. As the baseline detector, we adopted YOLO version 11 and incorporated a multi-scale feature aggregation module (which combines information from neural network layers operating at different scales) and a dimension-aware selective integration module (which automatically determines the dimension (channel, height, or width) along which to process features and fuses them selectively). These modifications aim to both enhance computational efficiency, enabling deployment of neural network models onboard aerial vehicles for real-time image analysis, and improve small object detection accuracy. Given the complexity of image annotation, we used an open synthetic image database containing approximately 4 000 images for training and testing (with a 90/10 split, respectively). We extend the training set using various random augmentation techniques. To evaluate the performance of the resulting predictive models, we employed mean Average Precision across all classes, using both a fixed 50% intersectionover- union threshold and a varying threshold from 50% to 95%. Overfitting was monitored by analyzing loss curves during training process. The proposed modifications to the YOLO architecture reduced image processing time by a factor of two while maintaining detection accuracy.

В работе предложен оптимизационный подход к имитационному моделированию микроструктур. Решены задачи оптимизации функции пористости, поиска оптимальной модели гранулометрического состава и введен критерий качества моделирования. Проведена проверка адекватности предложенных методов на примерах и предложена регрессионная модель качества имитационного моделирования микроструктур. Актуальным приложением предложенного подхода является задача 3D-реконструкции микроструктуры керна. Полученные результаты дают основания для продолжения исследований в выбранном направлении.

The paper presents an optimization approach to microstructure simulation. Porosity function was optimized by numerical method, grain-size model was optimized by complex method based on criteria of model quality. Methods have been validated on examples. Presented new regression model of model quality. Actual application of proposed method is 3D reconstruction of core sample microstructure. Presented results suggest to prolongation of investigations. 

В статье рассматривается нелинейная модель динамики численности разновозрастных занятых в экономике региона, построенная по принципам базового моделирования в эконофизике. Продемонстрированы сложные режимы динамики модели, накладывающие фундаментальные ограничения на средне- и долгосрочный прогноз численности занятых в регионе. По аналогии с биофизическим подходом предложена классификация социальных взаимодействий разновозрастных работников. Приведен модельный анализ оценки уровня занятости среди возрастных групп населения. Верификация модели проведена на статистических данных Еврейской автономной области.

The article deals with the nonlinear model of population dynamics of different ages workers in the regional economy. The model is built on the principles underlying modeling in econophysics. The authors demonstrate the complex dynamics of the model regimes that impose fundamental limits on medium- and long-term forecast of employment in a region. By analogy with the biophysical approach the authors propose a classification of social interactions of the different age-group workers. The model analysis is given for the level of employment among age groups. The verification of the model performs on the statistical data of the Jewish Autonomous Region.

Построена молекулярная модель взаимодействия фикобилисомыс ОСР, белком-тушителем, регулирующим передачу энергии от фикобилисом к фотосистемам в пигментном аппарате цианобактерий. Полученная модель не требует нарушения известной по рентгеноструктурным данным пространственной структуры взаимодействующих белков, а также позволяет удовлетворительно описать процесс переноса энергии к ОСР от фикобилисомы. Методом MM–PBSA рассчитана свободная энергия образования комплекса. Показано, что свободная энергия имеет величину не более нескольких десятков кДж/моль, что хорошо согласуется с наблюдаемой в эксперименте небольшой устойчивостью комплекса. Показано, что удельная свободная энергия взаимодействия рассматриваемых в модели весьма гидрофильных белков друг с другом примерно в два раза превышает удельную энергию их взаимодействия с водой, что свидетельствует о высокой комплементарности контактирующих белковых поверхностей и является сильным аргументом в пользу предложенной модели.

A molecular model of phicobilisome complex with a quenching protein OCP which regulates the energy transfer from phicobilisome to photosystem in photosynthetic apparatus of cyanobacteria has been developed. In the model obtained a well known spatial structure of interacting proteins remains intact and also the energy transfer from phycobilisome to OCP with reasonable rates is possible. Free energy of complex formation was calculated using MM–PBSA approach. By the order of magnitude this energy is about tens of kJ/mole. This value correlates well with experimental observed low stability of this complex. The specific surface energy of interaction between hydrophylic phicobilisome and OCP is twice larger than specific surface energy of their interaction with water. This reflects a high molecular complementary of interacting protein surfaces and is a strong pro argument for proposed model.

Исследование логических детерминированных клеточноавтоматных моделей популяционной динамики позволяет выявлять детальные индивидуально-ориентированные механизмы функционирования экосистем. Выявление таких механизмов актуально в связи с проблемами, возникающими вследствие переэксплуатации природных ресурсов, загрязнения окружающей среды и изменения климата. Классические модели популяционной динамики имеют феноменологическую природу, так как являются «черными ящиками». Феноменологические модели принципиально затрудняют исследование локальных механизмов функционирования экосистем. Мы исследовали роль плодовитости и длительности восстановления ресурсов в механизмах популяционного роста, используя четыре модели экосистемы с одним видом. Эти модели являются логическими детерминированными клеточными автоматами и основаны на физической аксиоматике возбудимой среды с восстановлением. Было выявлено, что при увеличении времени восстановления ресурсов экосистемы происходит катастрофическая гибель популяции. Показано также, что большая плодовитость ускоряет исчезновения популяции. Исследованные механизмы важны для понимания механизмов устойчивого развития экосистем и сохранения биологического разнообразия. Обсуждаются перспективы представленного модельного подхода как метода прозрачного многоуровневого моделирования сложных систем.

Investigation of logical deterministic cellular automata models of population dynamics allows to reveal detailed individual-based mechanisms. The search for such mechanisms is important in connection with ecological problems caused by overexploitation of natural resources, environmental pollution and climate change. Classical models of population dynamics have the phenomenological nature, as they are “black boxes”. Phenomenological models fundamentally complicate research of detailed mechanisms of ecosystem functioning. We have investigated the role of fecundity and duration of resources regeneration in mechanisms of population growth using four models of ecosystem with one species. These models are logical deterministic cellular automata and are based on physical axiomatics of excitable medium with regeneration. We have modeled catastrophic death of population arising from increasing of resources regeneration duration. It has been shown that greater fecundity accelerates population extinction. The investigated mechanisms are important for understanding mechanisms of sustainability of ecosystems and biodiversity conservation. Prospects of the presented modeling approach as a method of transparent multilevel modeling of complex systems are discussed.

В статье описан подход к расчетному анализу теплогидравлических процессов в реакторе на быстрых нейтронах (БН), включающий применяемые физические модели, численные схемы и упрощения реальной конструкции, принятые в расчетной модели. Рассмотрены стационарные и динамические режимы испытаний. Стационарные режимы имитировали работу реактора на номинальной мощности. Динамические режимы имитировали расхолаживание реактора через систему отвода тепла. Моделирование теплогидравлических процессов проведено в программном комплексе (ПК) FlowVision. На основе геометрической модели была построена математическая модель, описывающая течение теплоносителя в первом контуре имитатора реактора типа БН.

Моделирование течения и теплообмена рабочего вещества в имитаторе реактора выполнено в предположении независимости плотности вещества от давления, с использованием $k–\varepsilon$ модели турбулентности, с применением модели дисперсной среды и с учетом сопряженного теплообмена. Реализованная в ПК FlowVision модель дисперсной среды позволила учесть процесс теплообмена между контурами в теплообменниках. Из-за большого количества расчетных ячеек по модели активной зоны области двух теплообменных аппаратов были заменены гидравлическими сопротивлениями и стоками тепла.

Моделирование течения теплоносителя в ПК FlowVision позволило получить распределения температуры, скорости и давления во всей расчетной области. В результате использования модели дисперсной среды были получены распределения температуры теплоносителей по обоим контурам теплообменников. Определено изменение температуры теплоносителя вдоль двух термозондов, которые располагались в холодной и горячей камерах имитатора реактора БН. На основе сравнительного анализа численных и экспериментальных данных сделаны выводы о корректности построенной математической модели и возможности ее использования для моделирования теплогидравлических процессов, протекающих в реакторах с натриевым теплоносителем типа БН.

An approach to numerical analysis of thermo-hydraulic processes proceeding in a fast-neutron reactor is described in the given article. The description covers physical models, numerical schemes and geometry simplifications accepted in the computational model. Steady-state and dynamic regimes of reactor operation are considered. The steady-state regimes simulate the reactor operation at nominal power. The dynamic regimes simulate the shutdown reactor cooling by means of the heat-removal system.

Simulation of thermo-hydraulic processes is carried out in the FlowVision CFD software. A mathematical model describing the coolant flow in the first loop of the fast-neutron reactor was developed on the basis of the available geometrical model. The flow of the working fluid in the reactor simulator is calculated under the assumption that the fluid density does not depend on pressure, with use a $k–\varepsilon$ turbulence model, with use of a model of dispersed medium, and with account of conjugate heat exchange. The model of dispersed medium implemented in the FlowVision software allowed taking into account heat exchange between the heat-exchanger lops. Due to geometric complexity of the core region, the zones occupied by the two heat exchangers were modeled by hydraulic resistances and heat sources.

Numerical simulation of the coolant flow in the FlowVision software enabled obtaining the distributions of temperature, velocity and pressure in the entire computational domain. Using the model of dispersed medium allowed calculation of the temperature distributions in the second loops of the heat exchangers. Besides that, the variation of the coolant temperature along the two thermal probes is determined. The probes were located in the cool and hot chambers of the fast-neutron reactor simulator. Comparative analysis of the numerical and experimental data has shown that the developed mathematical model is correct and, therefore, it can be used for simulation of thermo-hydraulic processes proceeding in fast-neutron reactors with sodium coolant.