Все выпуски

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

In today’s technology-driven world, lite devices like Internet of Things (IoT) devices and microcontrollers (MCUs) are becoming increasingly common. These devices are more energyefficient and affordable, often with reduced features compared to the standard versions such as very limited memory and processing power for typical machine learning models. However, modern machine learning models can have millions of parameters, resulting in a large memory footprint. This complexity not only makes it difficult to deploy these large models on resource constrained devices but also increases the risk of latency and inefficiency in processing, which is crucial in some cases where real-time responses are required such as autonomous driving and medical diagnostics. In recent years, neural networks have seen significant advancements in model optimization techniques that help deployment and inference on these small devices. This narrative review offers a thorough examination of the progression and latest developments in neural network optimization, focusing on key areas such as quantization, pruning, knowledge distillation, and neural architecture search. It examines how these algorithmic solutions have progressed and how new approaches have improved upon the existing techniques making neural networks more efficient. This review is designed for machine learning researchers, practitioners, and engineers who may be unfamiliar with these methods but wish to explore the available techniques. It highlights ongoing research in optimizing networks for achieving better performance, lowering energy consumption, and enabling faster training times, all of which play an important role in the continued scalability of neural networks. Additionally, it identifies gaps in current research and provides a foundation for future studies, aiming to enhance the applicability and effectiveness of existing optimization strategies.

Эффективность подвижных робототехнических комплексов (ПРТК), осуществляющих мониторинг дорожной обстановки, городской инфраструктуры, последствий чрезвычайных ситуаций и пр., напрямую зависит от качества функционирования систем технического зрения, являющихся важнейшей частью ПРТК. В свою очередь, точность обработки изображений в системах технического зрения в существенной степени зависит от точности пространственной ориентации видеокамеры, размещаемой на ПРТК. Но при размещении видеокамер на ПРТК резко возрастает уровень погрешностей их пространственной ориентации, вызванных ветровыми и сейсмическими колебаниями мачты, движением ПРТК по пересеченной местности и пр. В связи с этим в статье рассмотрено общее решение задачи стохастической оценки параметров пространственной ориентации видеокамер в условиях как случайных колебаний мачты, так и произвольного характера движения ПРТК. Так как методы решения данной задачи на основе спутниковых измерений при высокой интенсивности естественных и искусственных радиопомех (способы формирования которых постоянно совершенствуются) не в состоянии обеспечить требуемую точность решения, то в основу предложенного подхода положено использование автономных средств измерения — инерциальных и неинерциальных. Но при их использовании возникает проблема построенияи стохастической оценки общей модели движения видеокамеры, сложность которой определяется произвольным движением ПРТК, случайными колебаниями мачты, помехами измеренияи др. В связи с нерешенностью данной проблемы на сегодняшний день в статье рассмотрен синтез как модели движения видеокамеры в самом общем случае, так и стохастической оценки ее параметров состояния. При этом разработанный алгоритм совместной оценки параметров пространственной ориентации видеокамеры, размещенной на мачте ПРТК, является инвариантным и к характеру движения мачты, и видеокамеры, и самого ПРТК, обеспечивая при этом устойчивость и требуемую точность оценивания при самых общих предположениях о характере помех чувствительных элементов используемого автономного измерительного комплекса. Результаты численного эксперимента позволяют сделать вывод о возможности практического применения предложенного подхода для решения задачи текущей пространственной ориентации ПРТК и размещенных на них видеокамер, причем с использованием недорогих автономных средств измерения.

The efficiency of mobile robotic systems (MRS) that monitor the traffic situation, urban infrastructure, consequences of emergency situations, etc., directly depends on the quality of vision systems, which are the most important part of MRS. In turn, the accuracy of image processing in vision systems depends to a great extent on the accuracy of spatial orientation of the video camera placed on the MRS. However, when video cameras are placed on the MRS, the level of errors of their spatial orientation increases sharply, caused by wind and seismic vibrations, movement of the MRS over rough terrain, etc. In this connection, the paper considers a general solution to the problem of stochastic estimation of spatial orientation parameters of video cameras in conditions of both random mast vibrations and arbitrary character of MRS movement. Since the methods of solving this problem on the basis of satellite measurements at high intensity of natural and artificial radio interference (the methods of formation of which are constantly being improved) are not able to provide the required accuracy of the solution, the proposed approach is based on the use of autonomous means of measurement — inertial and non-inertial. But when using them, the problem of building and stochastic estimation of the general model of video camera motion arises, the complexity of which is determined by arbitrary motion of the video camera, random mast oscillations, measurement disturbances, etc. The problem of stochastic estimation of the general model of video camera motion arises. Due to the unsolved nature of this problem, the paper considers the synthesis of both the video camera motion model in the most general case and the stochastic estimation of its state parameters. The developed algorithm for joint estimation of the spatial orientation parameters of the video camera placed on the mast of the MRS is invariant to the nature of motion of the mast, the video camera, and the MRS itself, providing stability and the required accuracy of estimation under the most general assumptions about the nature of interference of the sensitive elements of the autonomous measuring complex used. The results of the numerical experiment allow us to conclude that the proposed approach can be practically applied to solve the problem of the current spatial orientation of MRS and video cameras placed on them using inexpensive autonomous measuring devices.

В статье рассматриваются математические аспекты проблемы идентификации многокомпонентной рассеивающей среды по данным импульсного мультиэнергетического рентгеновского облучения. Задачи рентгеновской диагностики представляют значительный интерес как с теоретической, так и с практической точки зрения, а радиографические методыне заменимы при неразрушающем контроле изделий.

В рамках математической модели на основе нестационарного интегро-дифференциального уравнения переноса излучения сформулированы обратная задача нахождения коэффициента ослабления по излучению, известному на границе области, и задача идентификации вещества по найденным значениям коэффициента ослабления на дискретном наборе энергий облучения среды. Проведена предварительная обработка широкого списка веществ, представляющих интерес в компьютерной томографии, на предмет возможности их идентификации по приближенно заданному коэффициенту ослабления излучения, характеризующему среду. При анализе степени близости веществ в некоторой норме установлено, что множество всех возможных веществ, потенциально содержащихся в среде, распадается на конечное число непересекающихся кластеров. При достаточно малой длительности зондирующего сигнала рассеивающая составляющая выходящего из среды излучения асимптотически мала. Это обстоятельство позволяет свести обратную задачу для уравнения переноса излучения к задаче обращения преобразования Радона от коэффициента ослабления. Методами численного моделирования на специально разработанном цифровом фантоме анализируется возможность однозначной или частичной идентификации вещества при варьировании длительности зондирующего импульса и числа энергетических уровней облучения среды.

The article considers the mathematical aspects of the problem of identifying a multicomponent scattering medium based on pulsed multienergy X-ray irradiation data. X-ray diagnostics problems are of considerable interest from both theoretical and practical points of view, and radiographic methods are indispensable in non-destructive testing of products.

Within the framework of a mathematical model based on a non-stationary integro-differential equation of radiation transfer, the inverse problem of finding the attenuation coefficient for radiation known at the boundary of the region and the problem of identifying a substance based on the found values of the attenuation coefficient on a discrete set of irradiation energies of the medium are formulated.

A preliminary processing of a wide list of substances of interest in computed tomography was carried out to determine the possibility of their identification by an approximately specified radiation attenuation coefficient characterizing the medium. When analyzing the degree of proximity of substances in a certain norm, it was found that the set of all possible substances potentially contained in the medium is divided into a finite number of non-intersecting clusters. For a sufficiently short duration of the probing signal, the scattering component of the radiation leaving the medium is asymptotically small. This circumstance allows us to reduce the inverse problem for the radiation transfer equation to the problem of inverting the Radon transform from the attenuation coefficient. The possibility of unambiguous or partial identification of a substance by varying the duration of the probing pulse and the number of energy levels of irradiation of the medium is analyzed using numerical modeling methods on a specially developed digital phantom.

Рассмотрены основные задачи дистанционного лесопатологического мониторинга пораженных насекомыми-вредителями хвойных лесов. Показано, что при их решении необходимо использовать результаты мультиклассификации хвойных деревьев на изображениях высокого и сверхвысокого разрешения, оперативно получаемых при мониторинге путем съемки лесов с космических аппаратов или с беспилотных летательных аппаратов (БПЛА). Проведен аналитический обзор современных моделей и методов мультиклассификации изображений хвойных лесов и с учетом его результатов разработаны три модели полносверточных нейронных сетей Mo-U-Net, At-Mo-U-Net и Res-Mo-U-Net, основанные на классической модели U-Net, а также модифицирована модель трансформера Segformer. По RGB-изображениям поврежденных уссурийским полиграфом Polygraphus proximus деревьев пихты сибирской Abies sibirica, полученных с помощью фотокамеры на БПЛА, созданы два набора датасетов: первый набор включает фрагменты изображений и их эталонных масок сегментации размером 256 × 256 × 3 пикселей, а второй — фрагменты размером 480 × 480 × 3 пикселей. Проведены комплексные исследования каждой из обученных моделей нейросетей по точности классификации степени поражения (состояния здоровья) деревьев A. Sibirica на изображениях и по скорости вычисления моделей с использованием тестовых датасетов из каждого набора. Выявлено, что в случае фрагментов размером 256×256×3 пикселей предпочтение наряду с моделью Modified Segformer следует отдать модели с механизмом внимания At-Mo-U-Net, а в случае фрагментов размером 480 × 480 × 3 пикселей — гибридной модели с остаточными блоками Res-Mo-U-Net. Из результатов исследований точности классификации и скорости вычислений каждой из разработанных моделей сделан вывод о том, что при решении задачи мультиклассификации пораженных деревьев пихты в производственных масштабах предпочтение следует отдать модели Res-Mo-U-Net. Именно она является компромиссным вариантом, удовлетворяющим противоречащим друг другу требованиям высокой точности классификации деревьев на изображениях и высокой скорости вычислений модели.

The key problems of remote forest pathology monitoring for coniferous forests affected by insect pests have been analyzed. It has been demonstrated that addressing these tasks requires the use of multiclass classification results for coniferous trees in high- and ultra-high-resolution images, which are promptly obtained through monitoring via satellites or unmanned aerial vehicles (UAVs). An analytical review of modern models and methods for multiclass classification of coniferous forest images was conducted, leading to the development of three fully convolutional neural network models: Mo-U-Net, At-Mo-U-Net, and Res-Mo-U-Net, all based on the classical U-Net architecture. Additionally, the Segformer transformer model was modified to suit the task. For RGB images of fir trees Abies sibirica affected by the four-eyed bark beetle Polygraphus proximus, captured using a UAV-mounted camera, two datasets were created: the first dataset contains image fragments and their corresponding reference segmentation masks sized 256 × 256 × 3 pixels, while the second dataset contains fragments sized 480 × 480 × 3 pixels. Comprehensive studies were conducted on each trained neural network model to evaluate both classification accuracy for assessing the degree of damage (health status) of Abies sibirica trees and computation speed using test datasets from each set. The results revealed that for fragments sized 256 × 256 × 3 pixels, the At-Mo-U-Net model with an attention mechanism is preferred alongside the Modified Segformer model. For fragments sized 480 × 480 × 3 pixels, the Res-Mo-U-Net hybrid model with residual blocks demonstrated superior performance. Based on classification accuracy and computation speed results for each developed model, it was concluded that, for production-scale multiclass classification of affected fir trees, the Res-Mo-U-Net model is the most suitable choice. This model strikes a balance between high classification accuracy and fast computation speed, meeting conflicting requirements effectively.

В данной работе приводятся результаты численного моделирования сверхпроводящей магнитной фокусирующей системы. При моделировании этой системы проводился дополнительный контроль точности аппроксимации условия u(∞)=0 с использованием метода Ричардсона. В работе представлены также некоторые результаты сравнения расчетного распределения магнитного поля с проведенными измерениями поля модифицированного магнита СП-40 физической установки «МАРУСЯ». Полученные результаты расчетов магнитных систем используются для проведения компьютерного моделирования физических установок и эксперимента на них, а в последующем, после проведения сеансов набора физических данных, будут использованы для обработки эксперимента.

This work gives results of numerical simulation of a superconducting magnetic focusing system. While modeling this system, special care was taken to achieve approximation accuracy over the condition u(∞)=0 by using Richardson method. The work presents the results of comparison of the magnetic field calculated distribution with measurements of the field performed on a modified magnet SP-40 of “MARUSYA” physical installation. This work also presents some results of numeric analysis of magnetic systems of “MARUSYA” physical installation with the purpose to study an opportunity of designing magnetic systems with predetermined characteristics of the magnetic field.

Построена полноатомная модель молекулы липида (дистеароилфосфатидилхолина, ДСФХ) и фрагмента липидной мембраны, необходимая для описания свойств липидных мембран в рамках метода молекулярной динамики. Построенная модель устойчива во времени, обладает термодинамически адекватным распределением энергии по степеням свободы системы и имеет параметры, хорошо согласующиеся с параметрами реального ДСФХ. С использованием построенной модели проведены расчеты проницаемости липидного бислоя для ионов натрия, воды и кислорода. Получены профили подвижности и коэффициентов диффузии этих частиц при их движении сквозь бислой, на основании которых оценены соответствующие коэффициенты проницаемости модельной мембраны. Показано, что липидные мембраны обладают значительным диффузионным сопротивлением не только для молекулы воды и иона натрия, но и для неполярной молекулы кислорода. Предложены теоретические методы расчета потоков исследуемых частиц через липидный бислой, а также методы оценки коэффициентов распределения малых молекул в системах липидный бислой - вода.

A correct model of lipid molecule (distearoylphosphatidylcholine, DSPC) and lipid membrane in water was constructed. Model lipid membrane is stable and has a reliable energy distribution among degrees of freedom. Also after equilibration model system has spatial parameters very similar to those of real DSPC membrane in liquid-crystalline phase. This model was used for studying of lipid membrane permeability to oxygen and water molecules and sodium ion. We obtained the values for transmembrane mobility and diffusion coefficients profiles, which we used for effective permeability coefficients calculation. We found lipid membranes to have significant diffusional resistance to penetration not only by charged particles, such as ions, but also by nonpolar molecules, such as oxygen molecule. We propose theoretical approach for calculation of particle flow across a membrane, as well as methods for estimation of distribution coefficients between bilayer and water phase.

На основе метода расщепления для нестационарного уравнения Шредингера предложена разностная схема численного решения нестационарной системы двух уравнений Шредингера с оператором спин-орбитального взаимодействия для двухкомпонентной спинорной волновой функции. Выполнено компьютерное моделирование эволюции волновых функций внешних нейтронов с различными проекциями полного момента на межъядерную ось и вероятности их передачи при лобовых столкновениях ядер ¹⁸O и ⁵⁸Ni.

The difference scheme for numerical solution of a time-dependant system of two Schrödinger equations with the operator of a spin-orbit interaction for a two-component spinor wave function is offered on the basis of a split method for a time-dependant Schrödinger equations. The computer simulation of the external neutrons’ wave functions evolution with different values of the full moment projection upon internuclear axis and probabilities of their transfer are executed for head-on collisions of ¹⁸O and ⁵⁸Ni nuclei.

Представлены результаты компьютерного моделирования нестационарных температурных полей, возникающих в полярных диэлектриках, облученных сфокусированными электронными пучками средних энергий, при исследовании с помощью методик растровой электронной микроскопии. Математическая модель основана на решении многомерного эволюционного уравнения теплопроводности численным конечноэлементным методом. Аппроксимация теплового источника проведена с учетом оценки области взаимодействия электронов с веществом на основе симуляции электронных траекторий методом Монте-Карло. Разработано программное приложение в ППП Маtlab, реализующее данную модель. Приведены геометрические интерпретации и результаты расчётов, демонстрирующие особенности температурного нагрева модельных образцов электронным зондом, при заданных параметрах эксперимента и принятой аппроксимации источника.

The paper describes the results of computer simulation of time-dependent temperature fields arising in polar dielectrics irradiated by focused electron bunches with average electron energy when analyzing with electron microscopy techniques. The mathematical model was based on solving several-dimensional nonstationary heat conduction equation with use of numerical finite element method. The approximation of thermal source was performed taking into account the estimation of initial electron distribution determined by Monte-Carlo simulation of electron trajectories. The simulation program was designed in Matlab. The geometrical modeling and calculation results demonstrated the main features of model sample heating by electron beam were presented at the given experimental parameters as well as source approximation.

В работе рассматривается модель экономической динамики Гудвина, находящаяся под воздействием случайных возмущений. Проведен полный параметрический анализ равновесий и циклов детерминированной системы. Исследованы вероятностные свойства аттракторов стохастической системы с использованием техники функций стохастической чувствительности и метода прямого численного моделирования. Обсуждается явление генерации стохастических бизнес-циклов в зоне, где исходная детерминированная модель имеет лишь устойчивые равновесия.

The Goodwin dynamical model under the random external disturbances is considered. A full parametrical analysis for equlibria and cycles of deterministic model is developed. We study probabilistic properties of stochastic attractors using stochastic sensitivity functions technique and numerical methods. A phenomenon of the generation of stochastic business cycles in the zones of stable equilibria is discussed.

Статья посвящена математическому моделированию процесса обессоливания природной воды методом термодистилляции. В статье приведены уравнения, позволяющие описать процессы пленочного течения и кипения воды, конденсации пара и поддержания вакуума. Представлен алгоритм расчета, реализованный в системе компьютерной математики MatLab и электронных таблицах Excel, и исходные данные, необходимые для расчета. Модель проверена на адекватность. Приведен расчет десятикорпусной дистилляционной установки. Результаты работы могут быть использованы при проектировании и оптимизации технологических режимов дистилляционных установок.

The article is dedicated to mathematic modeling of natural water desalination process by method of thermal distillation. The article gives the equations which allow describing the processes of film flowing and boiling of water, steam condensation and vacuum maintenance. The article presents the algorithm of calculation, implemented in MatLab computer mathematic system and Excel electronic tables, and the initial data required for the calculation. The model has been checked for adequacy. The calculation of ten-effect distillation system is given. The results of work can be used in design and optimization of process conditions for distillation systems.