Все выпуски

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

In today’s technology-driven world, lite devices like Internet of Things (IoT) devices and microcontrollers (MCUs) are becoming increasingly common. These devices are more energyefficient and affordable, often with reduced features compared to the standard versions such as very limited memory and processing power for typical machine learning models. However, modern machine learning models can have millions of parameters, resulting in a large memory footprint. This complexity not only makes it difficult to deploy these large models on resource constrained devices but also increases the risk of latency and inefficiency in processing, which is crucial in some cases where real-time responses are required such as autonomous driving and medical diagnostics. In recent years, neural networks have seen significant advancements in model optimization techniques that help deployment and inference on these small devices. This narrative review offers a thorough examination of the progression and latest developments in neural network optimization, focusing on key areas such as quantization, pruning, knowledge distillation, and neural architecture search. It examines how these algorithmic solutions have progressed and how new approaches have improved upon the existing techniques making neural networks more efficient. This review is designed for machine learning researchers, practitioners, and engineers who may be unfamiliar with these methods but wish to explore the available techniques. It highlights ongoing research in optimizing networks for achieving better performance, lowering energy consumption, and enabling faster training times, all of which play an important role in the continued scalability of neural networks. Additionally, it identifies gaps in current research and provides a foundation for future studies, aiming to enhance the applicability and effectiveness of existing optimization strategies.

Эффективность подвижных робототехнических комплексов (ПРТК), осуществляющих мониторинг дорожной обстановки, городской инфраструктуры, последствий чрезвычайных ситуаций и пр., напрямую зависит от качества функционирования систем технического зрения, являющихся важнейшей частью ПРТК. В свою очередь, точность обработки изображений в системах технического зрения в существенной степени зависит от точности пространственной ориентации видеокамеры, размещаемой на ПРТК. Но при размещении видеокамер на ПРТК резко возрастает уровень погрешностей их пространственной ориентации, вызванных ветровыми и сейсмическими колебаниями мачты, движением ПРТК по пересеченной местности и пр. В связи с этим в статье рассмотрено общее решение задачи стохастической оценки параметров пространственной ориентации видеокамер в условиях как случайных колебаний мачты, так и произвольного характера движения ПРТК. Так как методы решения данной задачи на основе спутниковых измерений при высокой интенсивности естественных и искусственных радиопомех (способы формирования которых постоянно совершенствуются) не в состоянии обеспечить требуемую точность решения, то в основу предложенного подхода положено использование автономных средств измерения — инерциальных и неинерциальных. Но при их использовании возникает проблема построенияи стохастической оценки общей модели движения видеокамеры, сложность которой определяется произвольным движением ПРТК, случайными колебаниями мачты, помехами измеренияи др. В связи с нерешенностью данной проблемы на сегодняшний день в статье рассмотрен синтез как модели движения видеокамеры в самом общем случае, так и стохастической оценки ее параметров состояния. При этом разработанный алгоритм совместной оценки параметров пространственной ориентации видеокамеры, размещенной на мачте ПРТК, является инвариантным и к характеру движения мачты, и видеокамеры, и самого ПРТК, обеспечивая при этом устойчивость и требуемую точность оценивания при самых общих предположениях о характере помех чувствительных элементов используемого автономного измерительного комплекса. Результаты численного эксперимента позволяют сделать вывод о возможности практического применения предложенного подхода для решения задачи текущей пространственной ориентации ПРТК и размещенных на них видеокамер, причем с использованием недорогих автономных средств измерения.

The efficiency of mobile robotic systems (MRS) that monitor the traffic situation, urban infrastructure, consequences of emergency situations, etc., directly depends on the quality of vision systems, which are the most important part of MRS. In turn, the accuracy of image processing in vision systems depends to a great extent on the accuracy of spatial orientation of the video camera placed on the MRS. However, when video cameras are placed on the MRS, the level of errors of their spatial orientation increases sharply, caused by wind and seismic vibrations, movement of the MRS over rough terrain, etc. In this connection, the paper considers a general solution to the problem of stochastic estimation of spatial orientation parameters of video cameras in conditions of both random mast vibrations and arbitrary character of MRS movement. Since the methods of solving this problem on the basis of satellite measurements at high intensity of natural and artificial radio interference (the methods of formation of which are constantly being improved) are not able to provide the required accuracy of the solution, the proposed approach is based on the use of autonomous means of measurement — inertial and non-inertial. But when using them, the problem of building and stochastic estimation of the general model of video camera motion arises, the complexity of which is determined by arbitrary motion of the video camera, random mast oscillations, measurement disturbances, etc. The problem of stochastic estimation of the general model of video camera motion arises. Due to the unsolved nature of this problem, the paper considers the synthesis of both the video camera motion model in the most general case and the stochastic estimation of its state parameters. The developed algorithm for joint estimation of the spatial orientation parameters of the video camera placed on the mast of the MRS is invariant to the nature of motion of the mast, the video camera, and the MRS itself, providing stability and the required accuracy of estimation under the most general assumptions about the nature of interference of the sensitive elements of the autonomous measuring complex used. The results of the numerical experiment allow us to conclude that the proposed approach can be practically applied to solve the problem of the current spatial orientation of MRS and video cameras placed on them using inexpensive autonomous measuring devices.

В настоящей работе рассматривается феноменологический алгоритм генерации морфологии глиальных клеток мозга — астроцитов, основанный на морфометрических данных протоплазматических астроцитов и общих тенденциях развития данного типа клеток in vivo, описанных в литературе. Мы адаптировали алгоритм пространственной колонизации (Space Colonization Algorithm, SCA) для процедурной генерации полной астроцитарной морфологии. Используемые в генерации аттракторные точки распределялись в пространственном объеме в соответствии с плотностью распределения синапсов в ткани гиппокампа на первой неделе постнатального развития мозга крысы. Нами были проанализированы и сопоставлены данные реконструкций астроцитарных морфологий на разных этапах развития мозга с использованием таких методик и параметров, как анализ Шолля, число точек ветвления, число терминалей, общая длина дерева и максимальный порядок ветвления. Используя данные морфометрического анализа протоплазматических астроцитов животных разных возрастов, были подобраны необходимые параметры генерации для получения наиболее реалистичных трехмерных моделей морфологии клеток. Мы показали, что разработанный нами алгоритм позволяет не только получить геометрию отдельных клеток, например, для задач вычислительной биологии, но и воссоздать феномен доменной организации клеточной популяции. Доменная организация в ходе генерации морфологий возникает из-за конкуренции клеток за территорию и присвоения их отростками уникальных аттракторных точек, которые становятся недоступными для других клеток и их отростков. Кроме того, нами было разработано дополнение оригинального алгоритма, позволяющее производить генерацию морфологии в две фазы, имитируя двухстадийное развитие структуры астроцитов на первой и третьей-четвертой неделях постнатального развития мозга крыс. Для достижения этого результата мы прибегаем к введению двух типов аттракторов, чтобы разделить две различные стратегии роста во времени: быстрое исследование пространства слабоветвящимися отростками и созревание сложной морфологии за счет обильного ветвления. Мы предполагаем, что модификация алгоритма с введением динамической генерации аттракторов может объяснить процесс формирования тонких структур астроцитарной клетки.

We examine a phenomenological algorithm for generating morphology of astrocytes, a major class of glial brain cells, based on morphometric data of rat brain protoplasmic astrocytes and observations of general cell development trends in vivo, based on current literature. We adapted the Space Colonization Algorithm (SCA) for procedural generation of astrocytic morphology from scratch. Attractor points used in generation were spatially distributed in the model volume according to the synapse distribution density in the rat hippocampus tissue during the first week of postnatal brain development. We analyzed and compared astrocytic morphology reconstructions at different brain development stages using morphometry estimation techniques such as Sholl analysis, number of bifurcations, number of terminals, total tree length, and maximum branching order. Using morphometric data from protoplasmic astrocytes of rats at different ages, we selected the necessary generation parameters to obtain the most realistic three-dimensional cell morphology models. We demonstrate that our proposed algorithm allows not only to obtain individual cell geometry but also recreate the phenomenon of tiling domain organization in the cell populations. In our algorithm tiling emerges due to the cell competition for territory and the assignment of unique attractor points to their processes, which then become unavailable to other cells and their processes. We further extend the original algorithm by splitting morphology generation in two phases, thereby simulating astrocyte tree structure development during the first and third-fourth weeks of rat postnatal brain development: rapid space exploration at the first stage and extensive branching at the second stage. To this end, we introduce two attractor types to separate two different growth strategies in time. We hypothesize that the extended algorithm with dynamic attractor generation can explain the formation process of fine astrocyte cell structures and maturation of astrocytic arborizations.

В статье рассматриваются математические аспекты проблемы идентификации многокомпонентной рассеивающей среды по данным импульсного мультиэнергетического рентгеновского облучения. Задачи рентгеновской диагностики представляют значительный интерес как с теоретической, так и с практической точки зрения, а радиографические методыне заменимы при неразрушающем контроле изделий.

В рамках математической модели на основе нестационарного интегро-дифференциального уравнения переноса излучения сформулированы обратная задача нахождения коэффициента ослабления по излучению, известному на границе области, и задача идентификации вещества по найденным значениям коэффициента ослабления на дискретном наборе энергий облучения среды. Проведена предварительная обработка широкого списка веществ, представляющих интерес в компьютерной томографии, на предмет возможности их идентификации по приближенно заданному коэффициенту ослабления излучения, характеризующему среду. При анализе степени близости веществ в некоторой норме установлено, что множество всех возможных веществ, потенциально содержащихся в среде, распадается на конечное число непересекающихся кластеров. При достаточно малой длительности зондирующего сигнала рассеивающая составляющая выходящего из среды излучения асимптотически мала. Это обстоятельство позволяет свести обратную задачу для уравнения переноса излучения к задаче обращения преобразования Радона от коэффициента ослабления. Методами численного моделирования на специально разработанном цифровом фантоме анализируется возможность однозначной или частичной идентификации вещества при варьировании длительности зондирующего импульса и числа энергетических уровней облучения среды.

The article considers the mathematical aspects of the problem of identifying a multicomponent scattering medium based on pulsed multienergy X-ray irradiation data. X-ray diagnostics problems are of considerable interest from both theoretical and practical points of view, and radiographic methods are indispensable in non-destructive testing of products.

Within the framework of a mathematical model based on a non-stationary integro-differential equation of radiation transfer, the inverse problem of finding the attenuation coefficient for radiation known at the boundary of the region and the problem of identifying a substance based on the found values of the attenuation coefficient on a discrete set of irradiation energies of the medium are formulated.

A preliminary processing of a wide list of substances of interest in computed tomography was carried out to determine the possibility of their identification by an approximately specified radiation attenuation coefficient characterizing the medium. When analyzing the degree of proximity of substances in a certain norm, it was found that the set of all possible substances potentially contained in the medium is divided into a finite number of non-intersecting clusters. For a sufficiently short duration of the probing signal, the scattering component of the radiation leaving the medium is asymptotically small. This circumstance allows us to reduce the inverse problem for the radiation transfer equation to the problem of inverting the Radon transform from the attenuation coefficient. The possibility of unambiguous or partial identification of a substance by varying the duration of the probing pulse and the number of energy levels of irradiation of the medium is analyzed using numerical modeling methods on a specially developed digital phantom.

Статья посвящена проблеме математического моделирования процесса дискретно-непрерывного литья цветных металлов. Разработана программа для моделирования процесса непрерывного вертикального литья цилиндрических заготовок. Исследовано влияние основных технологических параметров на процесс охлаждения непрерывнолитой медной заготовки.

This article is devoted to the problem of mathematical modeling of nonferrous metal casting and investigation of the influence of main technological parameters on the cooling process of continuously casted copper under down-draw and up-draw.

Представлены результаты компьютерного моделирования нестационарных температурных полей, возникающих в полярных диэлектриках, облученных сфокусированными электронными пучками средних энергий, при исследовании с помощью методик растровой электронной микроскопии. Математическая модель основана на решении многомерного эволюционного уравнения теплопроводности численным конечноэлементным методом. Аппроксимация теплового источника проведена с учетом оценки области взаимодействия электронов с веществом на основе симуляции электронных траекторий методом Монте-Карло. Разработано программное приложение в ППП Маtlab, реализующее данную модель. Приведены геометрические интерпретации и результаты расчётов, демонстрирующие особенности температурного нагрева модельных образцов электронным зондом, при заданных параметрах эксперимента и принятой аппроксимации источника.

The paper describes the results of computer simulation of time-dependent temperature fields arising in polar dielectrics irradiated by focused electron bunches with average electron energy when analyzing with electron microscopy techniques. The mathematical model was based on solving several-dimensional nonstationary heat conduction equation with use of numerical finite element method. The approximation of thermal source was performed taking into account the estimation of initial electron distribution determined by Monte-Carlo simulation of electron trajectories. The simulation program was designed in Matlab. The geometrical modeling and calculation results demonstrated the main features of model sample heating by electron beam were presented at the given experimental parameters as well as source approximation.

Статья посвящена математическому моделированию процесса обессоливания природной воды методом термодистилляции. В статье приведены уравнения, позволяющие описать процессы пленочного течения и кипения воды, конденсации пара и поддержания вакуума. Представлен алгоритм расчета, реализованный в системе компьютерной математики MatLab и электронных таблицах Excel, и исходные данные, необходимые для расчета. Модель проверена на адекватность. Приведен расчет десятикорпусной дистилляционной установки. Результаты работы могут быть использованы при проектировании и оптимизации технологических режимов дистилляционных установок.

The article is dedicated to mathematic modeling of natural water desalination process by method of thermal distillation. The article gives the equations which allow describing the processes of film flowing and boiling of water, steam condensation and vacuum maintenance. The article presents the algorithm of calculation, implemented in MatLab computer mathematic system and Excel electronic tables, and the initial data required for the calculation. The model has been checked for adequacy. The calculation of ten-effect distillation system is given. The results of work can be used in design and optimization of process conditions for distillation systems.

Предложен алгоритм решения прикладной задачи расчета электрических характеристик полевых эффектов инжектированных зарядов в сегнетоэлектриках при электронном облучении, основанный на реализации детерминированной модели методом конечных элементов с учетом результатов моделирования транспорта электронов методом Монте-Карло. Разработано программное приложение для проведения вычислительного эксперимента.

An algorithm of applied problem solving was described to calculate electrical characteristics of electrical field effects in ferroelectrics electron-beam charged. The algorithm was based on implementation of the deterministic model using finite element method as well as taking into account Monte-Carlo simulation results of electron transport. The program application was developed to perform computing experiments.

WS-BPEL — это широко распространённый стандарт для спецификации распределенных и параллельных бизнес-процессов. Этот стандарт не подходит для алгебраических парадигм и парадигм направленных графов Петри. Исходя из этого, легко определить бизнес-процесс WS-BPEL с нежелательными особенностями. Именно поэтому проверка бизнес-процессов WS-BPEL очень важна. Цель этой статьи состоит в том, чтобы показать некоторые возможности для преобразования процессов WS-BPEL в более формальные спецификации, которые могут быть проверены. CSP и система обозначений Z используются как формальные модели. Система обозначений Z полезна для спецификации абстрактных типов данных. Web-сервисы могут рассматриваться как своего рода абстрактные типы данных.

WS-BPEL is a widely accepted standard for specification of business distributed and parallel processes. This standard is a mismatch of algebraic and Petri net paradigms. Following that, it is easy to specify WS-BPEL business process with unwanted features. That is why the verification of WS-BPEL business processes is very important. The intent of this paper is to show some possibilities for conversion of a WS-BPEL processes into more formal specifications that can be verified. CSP and Z-notation are used as formal models. Z-notation is useful for specification of abstract data types. Web services can be viewed as a kind of abstract data types.

В статье описано современное состояние вопроса компьютерного моделирования процессов обработки металлов давлением, выделены основные проблемные моменты традиционных методов. Описан метод, позволяющий прогнозировать распределение деформации в объеме деформируемого металла с учетом поведенческих особенностей микроструктуры под воздействием деформационной нагрузки. Представлен способ оптимизации ресурсоемкости мультимасштабных моделей посредством использования статистически эквивалентного репрезентативного объема (SSRVE) микроструктуры. Разработанные методы моделирования апробированы на процессе однократного волочения прутка круглого сечения из стали марки 20. В ходе сравнительного анализа моделей макро- и микроуровней были выявлены различия в количественных показателях напряженно-деформированного состояния (НДС) и их локальном распределении по объему. Микроуровневая модель также позволила обнаружить отсутствующие на макроуровне сжимающие напряжения. Применение концепции SSRVE многократно снизило расчетное время модели при сохранении общей точности.

The article describes the state of the art computer simulation in the field of metal forming processes, the main problem points of traditional methods were identified. The method, that allows to predict the deformation distribution in the volume of deformable metal with taking into account of microstructure behavioral characteristics in deformation load conditions, was described. The method for optimizing computational resources of multiscale models by using statistical similar representative volume elements (SSRVE) was presented. The modeling methods were tested on the process of single pass drawing of round rod from steel grade 20. In a comparative analysis of macro and micro levels models differences in quantitative terms of the stress-strain state and their local distribution have been identified. Microlevel model also allowed to detect the compressive stresses and strains, which were absent at the macro level model. Applying the SSRVE concept repeatedly lowered the calculation time of the model while maintaining the overall accuracy.